Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Bekerja dengan hierarki multi-katalog di AWS Katalog Data Lem dengan Spark di Amazon EMR

Anda dapat mendaftarkan cluster Amazon EMR Anda untuk mengakses Katalog Data AWS Glue, yang membuat tabel dan sumber daya katalog lainnya tersedia untuk berbagai konsumen. AWS Glue Data Catalog mendukung hierarki multi-katalog, yang menyatukan data Anda di Amazon S3 data lake. Ini juga menyediakan API metastore Hive dan APache Iceberg REST API open-source untuk mengakses data. Fitur-fitur ini tersedia untuk Amazon EMR dan layanan lain seperti Amazon Athena dan Amazon Redshift.

Bagaimana sumber daya katalog diatur

Saat Anda membuat sumber daya di Katalog Data AWS Glue, Anda dapat mengaksesnya dari mesin SQL apa pun yang mendukung Apache Iceberg REST API atau Hive metastore. AWS Formasi Danau mengelola izin.

Di AWS Glue Data Catalog, data diatur dalam hierarki logis katalog, database, dan tabel:

Mengkonfigurasi katalog data untuk digunakan dengan Amazon EMR

Untuk memulai, Anda mengonfigurasi katalog untuk mendukung alat Amazon EMR. Katalog Data AWS Glue menyediakan kompatibilitas metastore Hive dan API yang kompatibel dengan Iceberg REST.

Mengkonfigurasi Amazon EMR dengan metastore Hive

Untuk informasi tentang cara mengaturnya, lihat Dukungan Katalog Data AWS Glue untuk pekerjaan Spark di Panduan AWS Pengguna Glue. Topik ini menjelaskan cara mengonfigurasi Katalog Data AWS Glue sebagai metastore Hive dan membuatnya tersedia sebagai titik akhir. Selain itu, tersedia dokumentasi Amazon EMR yang menunjukkan cara menentukan Katalog Data AWS Glue sebagai metastore Spark, di Gunakan Katalog Data AWS Glue sebagai metastore Apache Hive untuk Spark.

Izin untuk mengakses sumber daya di AWS Katalog Data Lem

Bagian ini menjelaskan persyaratan kebijakan IAM untuk menggunakan alat Amazon EMR dengan data katalog. Setelah Anda mendaftarkan cluster Anda dengan Katalog Data AWS Glue, Anda memerlukan izin berikut untuk menemukan pembuatan dan perubahan pada katalog data yang dibuat selanjutnya:

Dalam kebanyakan kasus, saat Anda menetapkan izin, sebaiknya buat peran IAM dan menetapkan izin untuk itu.

Selain itu, untuk menanyakan data katalog, Anda harus mengatur izin untuk katalog data menggunakan AWS Lake Formation. Untuk informasi selengkapnya tentang menyetel izin untuk katalog data di AWS Lake Formation, lihat Mem berikan dan mencabut izin pada sumber daya Katalog Data.

Setelah Anda membuat dan mengonfigurasi cluster Anda, dan menetapkan izin pada objek katalog Anda, Anda dapat mengirimkan pekerjaan ke kueri dan memproses data.

Konfigurasikan Spark untuk mengakses hierarki multi-katalog di AWS Katalog Data Lem

Dengan EMR 7.5, Anda dapat mengonfigurasi Spark untuk menggunakan heir AWS arki multi-katalog Glue. Hirarki multi-katalog memungkinkan Anda untuk:

Menghubungkan ke multi-katalog saat Anda menginisialisasi sesi Spark

Contoh berikut menunjukkan cara menggunakan Spark shell interaktif, Spark submit, atau Amazon EMR Notebooks untuk bekerja dengan hierarki AWS multi-katalog Glue.

spark-shell

1. Connect ke simpul utama menggunakan SSH. Untuk informasi selengkapnya, lihat Connect ke simpul utama menggunakan SSH di Panduan Pengelolaan Amazon EMR.

2. Masukkan perintah berikut untuk meluncurkan shell Spark. Untuk menggunakan cang PySpark kang, ganti spark-shell denganpyspark.

   spark-shell \
       --conf spark.sql.catalog.my_catalog=org.apache.iceberg.spark.SparkCatalog \
       --conf spark.sql.catalog.my_catalog.warehouse=s3://amzn-s3-demo-bucket/prefix/
       --conf spark.sql.catalog.my_catalog.type=glue \
       --conf spark.sql.catalog.my_catalog.glue.id=Glue RMS catalog ID \
       --conf spark.sql.defaultCatalog=my_catalog \
       --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions

spark-submit

1. Connect ke simpul utama menggunakan SSH. Untuk informasi selengkapnya, lihat Connect ke simpul utama menggunakan SSH di Panduan Pengelolaan Amazon EMR.

2. Masukkan perintah berikut untuk meluncurkan sesi Spark untuk Spark.

   spark-submit \
   --conf spark.sql.catalog.my_catalog=org.apache.iceberg.spark.SparkCatalog \
   --conf spark.sql.catalog.my_catalog.warehouse=s3://amzn-s3-demo-bucket1/prefix \
   --conf spark.sql.catalog.my_catalog.type=glue \
   --conf spark.sql.catalog.my_catalog.glue.id=Glue RMS catalog ID \
   --conf spark.sql.defaultCatalog=my_catalog \
   --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions

EMR Studio notebooks

Untuk menginisialisasi sesi Spark menggunakan buku catatan EMR Studio, konfigurasikan sesi Spark Anda menggunakan perintah %%configure ajaib di notebook Amazon EMR Anda, seperti pada contoh berikut. Untuk informasi selengkapnya, lihat Menggunakan sihir Notebook EMR di Panduan Manajemen Amazon EMR.

%%configure -f{
"conf":{
    "spark.sql.catalog.my_catalog":"org.apache.iceberg.spark.SparkCatalog",
    "spark.sql.catalog.my_catalog.type":"glue",
    "spark.sql.catalog.my_catalog.glue.id":"Glue RMS catalog ID",
    "spark.sql.catalog.my_catalog.warehouse":"s3://amzn-s3-demo-bucket1/prefix/",
    "spark.sql.defaultCatalog", "my_catalog",
    "spark.sql.extensions":"org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions"
    }
}

CLI

Untuk menginisialisasi sesi Spark menggunakan CLI, jalankan contoh berikut. Untuk informasi selengkapnya tentang menentukan klasifikasi konfigurasi menggunakan AWS CLI dan Amazon EMR API, lihat Meng onfigurasi aplikasi.

[
  {
    "Classification": "spark-defaults",
    "Properties": {
      "spark.sql.catalog.my_catalog":"org.apache.iceberg.spark.SparkCatalog",
      "spark.sql.catalog.my_catalog.type":"glue",
      "spark.sql.catalog.my_catalog.glue.id":"Glue RMS catalog ID",
      "spark.sql.catalog.my_catalog.warehouse":"s3://amzn-s3-demo-bucket1/prefix/",
      "spark.sql.defaultCatalog", "my_catalog",
      "spark.sql.extensions":"org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions"
    }
  }
]

Inisialisasi sesi Spark ke Redshift Managed Storage dengan AWS Katalog Data Lem

Perintah contoh berikut menginisialisasi sesi Spark dengan Katalog Data AWS Glue.

spark-sql \
  --conf spark.sql.catalog.rms=org.apache.iceberg.spark.SparkCatalog \
  --conf spark.sql.catalog.rms.type=glue \
  --conf spark.sql.catalog.rms.glue.id=Glue RMS catalog ID \
  --conf spark.sql.defaultCatalog=rms
  --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions

Contoh berikut menginisialisasi sesi Spark menggunakan Iceberg REST API dan Redshift Managed Storage dengan AWS Katalog Data Glue.

spark-sql \
  --conf spark.sql.catalog.rms=org.apache.iceberg.spark.SparkCatalog \
  --conf spark.sql.catalog.rms.type=rest \
  --conf spark.sql.catalog.rms.warehouse=glue RMS catalog ID \
  --conf spark.sql.catalog.rms.uri=Glue endpoint URI/iceberg \
  --conf spark.sql.catalog.rms.rest.sigv4-enabled=true \
  --conf spark.sql.catalog.rms.rest.signing-name=glue \
  --conf spark.sql.defaultCatalog=rms \
  --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions

Untuk informasi selengkapnya tentang menggunakan hierarki multi-katalog AWS Glue dengan Spark Iceberg, lihat Menggunakan cluster Iceberg dengan Spark.

Pertimbangan dan batasan untuk konfigurasi multi-katalog