Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Bekerja dengan hirarki multi-katalog AWS Glue di Tanpa Server EMR

Anda dapat mengonfigurasi aplikasi EMR Tanpa Server Anda untuk bekerja dengan hierarki multi-katalog AWS Glue. Contoh berikut menunjukkan cara menggunakan EMR -S Spark dengan hirarki multi-katalog AWS Glue.

Untuk mempelajari lebih lanjut tentang hierarki multi-katalog, lihat Bekerja dengan hierarki multi-katalog di Katalog Data AWS Glue dengan Spark di Amazon. EMR

Menggunakan Redshift Managed Storage (RMS) dengan Iceberg dan AWS Glue Data Catalog

Berikut ini menunjukkan cara mengkonfigurasi Spark untuk integrasi dengan AWS Glue Data Catalog dengan Iceberg:

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://amzn-s3-demo-bucket/myscript.py",
            "sparkSubmitParameters": "--conf spark.sql.catalog.nfgac_rms = org.apache.iceberg.spark.SparkCatalog
             --conf spark.sql.catalog.rms.type=glue 
             --conf spark.sql.catalog.rms.glue.id=Glue RMS catalog ID 
             --conf spark.sql.defaultCatalog=rms
             --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions"
        }
    }'

Contoh kueri dari tabel dalam katalog, berikut integrasi:

SELECT * FROM my_rms_schema.my_table

Menggunakan Redshift Managed Storage (RMS) dengan Iceberg REST API dan AWS Glue Data Catalog

Berikut ini menunjukkan cara mengkonfigurasi Spark untuk bekerja dengan katalog IcebergREST:

aws emr-serverless start-job-run \
--application-id application-id \
--execution-role-arn job-role-arn \
--job-driver '{
"sparkSubmit": {
"entryPoint": "s3://amzn-s3-demo-bucket/myscript.py",
    "sparkSubmitParameters": "
    --conf spark.sql.catalog.rms=org.apache.iceberg.spark.SparkCatalog
    --conf spark.sql.catalog.rms.type=rest
    --conf spark.sql.catalog.rms.warehouse=Glue RMS catalog ID
    --conf spark.sql.catalog.rms.uri=Glue endpoint URI/iceberg
    --conf spark.sql.catalog.rms.rest.sigv4-enabled=true
    --conf spark.sql.catalog.rms.rest.signing-name=glue
    --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions"
    }
  }'

Contoh kueri dari tabel di katalog:

SELECT * FROM my_rms_schema.my_table