Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gunakan Katalog Data AWS Glue sebagai metastore untuk Spark SQL

Menggunakan Amazon EMR release 5.8.0 atau yang lebih baru, Anda dapat mengonfigurasi Spark SQL untuk menggunakan AWS Glue Data Catalog sebagai metastore. Kami merekomendasikan konfigurasi ini ketika Anda memerlukan metastore persisten atau metastore bersama oleh kelompok yang berbeda, Layanan, aplikasi, atau AWS rekening.

AWS Glue adalah layanan ekstrak, transformasi, dan load (ETL) yang dikelola sepenuhnya yang membuatnya sederhana dan hemat biaya untuk mengkategorikan data Anda, membersihkannya, memperkayanya, dan memindahkannya dengan andal di antara berbagai penyimpanan data. Katalog Data AWS Glue menyediakan repositori metadata terpadu di berbagai sumber data dan format data, terintegrasi dengan Amazon EMR serta Amazon, Amazon Redshift, Redshift RDS Spectrum, Athena, dan aplikasi apa pun yang kompatibel dengan metastore Apache Hive. AWS Glue crawler dapat secara otomatis menyimpulkan skema dari data sumber di Amazon S3 dan menyimpan metadata terkait dalam Katalog Data. Untuk informasi selengkapnya tentang Katalog Data, lihat Mengisi Katalog Data AWS Glue di Panduan Pengembang AWS Glue.

Biaya terpisah berlaku untuk AWS Glue. Ada tarif bulanan untuk menyimpan dan mengakses metadata di Katalog Data, tarif per jam yang ditagih per menit untuk ETL pekerjaan AWS Glue dan runtime crawler, dan tarif per jam yang ditagih per menit untuk setiap titik akhir pengembangan yang disediakan. Katalog Data memungkinkan Anda untuk menyimpan hingga satu juta objek tanpa biaya. Jika Anda menyimpan lebih dari satu juta objek, Anda dikenakan biaya USD $1 untuk setiap 100.000 objek lebih dari satu juta. Sebuah objek dalam Katalog Data adalah tabel, partisi, atau database. Untuk informasi lebih lanjut, lihat Harga Glue.

Menentukan Katalog Data AWS Glue sebagai metastore

Anda dapat menentukan Katalog Data AWS Glue sebagai metastore menggunakan AWS Management Console, AWS CLI, atau Amazon. EMR API Bila Anda menggunakan CLI orAPI, Anda menggunakan klasifikasi konfigurasi untuk Spark untuk menentukan Katalog Data. Selain itu, dengan Amazon EMR 5.16.0 dan yang lebih baru, Anda dapat menggunakan klasifikasi konfigurasi untuk menentukan Katalog Data yang berbeda. Akun AWS Bila menggunakan konsol, Anda dapat menentukan Katalog Data menggunakan Opsi lanjutan atau Opsi cepat.

Console

Untuk menentukan AWS Glue Data Catalog sebagai metastore Spark dengan konsol baru

1. Masuk ke AWS Management Console, dan buka EMR konsol Amazon di https://console.aws.amazon.com/emr.

2. Di bawah Amazon EMR EC2 di panel navigasi kiri, pilih Cluster, lalu pilih Buat klaster.

3. Di bawah Bundel aplikasi, pilih Spark atau Custom. Jika Anda menyesuaikan cluster Anda, pastikan bahwa Anda memilih Zeppelin atau Spark sebagai salah satu aplikasi Anda.

4. Di bawah pengaturan AWS Glue Data Catalog, pilih kotak centang Use for Spark table metadata.

5. Pilih opsi lain yang berlaku untuk cluster Anda.

6. Untuk meluncurkan klaster Anda, pilih Buat klaster.

AWS CLI

Untuk menentukan Katalog Data AWS Glue sebagai metastore Spark dengan AWS CLI

Untuk informasi selengkapnya tentang menentukan klasifikasi konfigurasi menggunakan AWS CLI dan Amazon EMRAPI, lihatKonfigurasikan aplikasi.

• Tentukan nilai untuk hive.metastore.client.factory.class menggunakan spark-hive-site Klasifikasi seperti yang ditunjukkan dalam contoh berikut:

  [
    {
      "Classification": "spark-hive-site",
      "Properties": {
        "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"
      }
    }
  ]
  						

  Untuk menentukan Katalog Data di AWS akun yang berbeda, tambahkan hive.metastore.glue.catalogid properti seperti yang ditunjukkan pada contoh berikut. Ganti acct-id dengan AWS akun Katalog Data.

  [
    {
      "Classification": "spark-hive-site",
      "Properties": {
        "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
        "hive.metastore.glue.catalogid": "acct-id"
      }
    }
  ]
  						

IAMizin

Profil EC2 instance untuk klaster harus memiliki IAM izin untuk tindakan AWS Glue. Selain itu, jika Anda mengaktifkan enkripsi untuk objek AWS Glue Data Catalog, peran juga harus diizinkan untuk mengenkripsi, mendekripsi, dan menghasilkan yang AWS KMS key digunakan untuk enkripsi.

Izin untuk tindakan AWS Glue

Jika Anda menggunakan profil EC2 instans default untuk AmazonEMR, tindakan tidak diperlukan. Kebijakan AmazonElasticMapReduceforEC2Role terkelola yang dilampirkan pada EMR_EC2_DefaultRole memungkinkan semua tindakan AWS Glue yang diperlukan. Namun, jika Anda menentukan profil dan izin EC2 instance kustom, Anda harus mengonfigurasi tindakan AWS Glue yang sesuai. Gunakan AmazonElasticMapReduceforEC2Role Kebijakan yang dikelola sebagai titik awal. Untuk informasi selengkapnya, lihat Peran layanan untuk EC2 instance klaster (profil EC2 instance) di Panduan EMR Manajemen Amazon.

Izin untuk mengenkripsi dan mendekripsi Katalog Data Glue AWS

Profil instans Anda memerlukan izin untuk mengenkripsi dan mendekripsi data menggunakan kunci Anda. Anda tidak perlu mengonfigurasi izin ini jika kedua pernyataan berikut berlaku:

Jika tidak, Anda harus menambahkan pernyataan berikut ke kebijakan izin yang dilampirkan ke profil EC2 instans Anda.

[
    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Action": [
                    "kms:Decrypt",
                    "kms:Encrypt",
                    "kms:GenerateDataKey"
                ],
                "Resource": "arn:aws:kms:region:acct-id:key/12345678-1234-1234-1234-123456789012"
            }
        ]
    }
]

Untuk informasi selengkapnya tentang enkripsi AWS Glue Data Catalog, lihat Mengenkripsi katalog data Anda di Panduan Pengembang AWS Glue.

Izin berbasiskan sumber daya

Jika Anda menggunakan AWS Glue bersama dengan Hive, Spark, atau Presto di AmazonEMR, AWS Glue mendukung kebijakan berbasis sumber daya untuk mengontrol akses ke sumber daya Katalog Data. Sumber daya ini termasuk database, tabel, koneksi, dan fungsi yang ditetapkan pengguna. Untuk informasi lebih lanjut, lihat AWS Kebijakan sumber daya Glue di AWS Panduan Developer Glue.

Saat menggunakan kebijakan berbasis sumber daya untuk membatasi akses ke Glue AWS dari dalam AmazonEMR, prinsip yang Anda tentukan dalam kebijakan izin harus berupa peran yang ARN terkait dengan profil EC2 instance yang ditentukan saat kluster dibuat. Misalnya, untuk kebijakan berbasis sumber daya yang dilampirkan ke katalog, Anda dapat menentukan peran peran layanan default ARN untuk instance klaster, EC2 EMR_EC2_DefaultRole sebagaiPrincipal, menggunakan format yang ditunjukkan dalam contoh berikut:

arn:aws:iam::acct-id:role/EMR_EC2_DefaultRole

Bagian acct-id bisa berbeda dari ID akun AWS Glue. Ini memungkinkan akses dari EMR cluster di akun yang berbeda. Anda dapat menentukan beberapa kepala sekolah, masing-masing dari akun yang berbeda.

Pertimbangan ketika menggunakan AWS Katalog data Glue

Pertimbangkan item berikut saat menggunakan AWS Glue Data Catalog sebagai metastore dengan Spark: