在无服务器上使用 AWS Glue 多目录层次EMR结构 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在无服务器上使用 AWS Glue 多目录层次EMR结构

您可以将您的EMR无服务器应用程序配置为使用 Glue 多目录 AWS 层次结构。以下示例说明如何在 Glue 多目录层次 AWS 结构中使用 EMR-S Spark。

要了解有关多目录层次结构的更多信息,请参阅 Amazon 上使用 Spark 的 Glue 数据 AWS 目录中使用多目录层次结构。EMR

将 Redshift 托管存储 (RMS) 与 Iceberg 和 Glu AWS e 数据目录配合使用

以下内容显示了如何配置 Spark 以与 Iceberg 的 AWS Glue 数据目录集成:

aws emr-serverless start-job-run \ --application-id application-id \ --execution-role-arn job-role-arn \ --job-driver '{ "sparkSubmit": { "entryPoint": "s3://amzn-s3-demo-bucket/myscript.py", "sparkSubmitParameters": "--conf spark.sql.catalog.nfgac_rms = org.apache.iceberg.spark.SparkCatalog --conf spark.sql.catalog.rms.type=glue --conf spark.sql.catalog.rms.glue.id=Glue RMS catalog ID --conf spark.sql.defaultCatalog=rms --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions" } }'

来自目录中表的示例查询,经过集成:

SELECT * FROM my_rms_schema.my_table

将 Redshift 托管存储 (RMS) 与 Iceberg 和 REST API Glu AWS e 数据目录配合使用

以下内容显示了如何配置 Spark 以与 Iceberg REST 目录配合使用:

aws emr-serverless start-job-run \ --application-id application-id \ --execution-role-arn job-role-arn \ --job-driver '{ "sparkSubmit": { "entryPoint": "s3://amzn-s3-demo-bucket/myscript.py", "sparkSubmitParameters": " --conf spark.sql.catalog.rms=org.apache.iceberg.spark.SparkCatalog --conf spark.sql.catalog.rms.type=rest --conf spark.sql.catalog.rms.warehouse=Glue RMS catalog ID --conf spark.sql.catalog.rms.uri=Glue endpoint URI/iceberg --conf spark.sql.catalog.rms.rest.sigv4-enabled=true --conf spark.sql.catalog.rms.rest.signing-name=glue --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions" } }'

来自目录中表的示例查询:

SELECT * FROM my_rms_schema.my_table