Amazon EMR を使用した Amazon S3 テーブルへのアクセス

次の設定を使用して、クラスターを作成します。この例を実行するには、user input placeholders をユーザー自身の情報に置き換えます。

aws emr create-cluster --release-label emr-7.5.0 \
--applications Name=Spark \
--configurations file://configurations.json \
--region us-east-1 \
--name My_Spark_Iceberg_Cluster \
--log-uri s3://amzn-s3-demo-bucket/ \
--instance-type m5.xlarge \
--instance-count 2 \
--service-role EMR_DefaultRole \
--ec2-attributes \

InstanceProfile=EMR_EC2_DefaultRole,SubnetId=subnet-1234567890abcdef0,KeyName=my-key-pair

configurations.json:

[{
"Classification":"iceberg-defaults",
"Properties":{"iceberg.enabled":"true"}
}]

SSH を使用して Spark プライマリノードに接続します。

テーブルバケットに接続する Iceberg の Spark セッションを初期化するには、次のコマンドを入力します。user input placeholders をテーブルバケットの ARN に置き換えます。

spark-shell \
--packages software.amazon.s3tables:s3-tables-catalog-for-iceberg-runtime:0.1.3 \
--conf spark.sql.catalog.s3tablesbucket=org.apache.iceberg.spark.SparkCatalog \
--conf spark.sql.catalog.s3tablesbucket.catalog-impl=software.amazon.s3tables.iceberg.S3TablesCatalog \
--conf spark.sql.catalog.s3tablesbucket.warehouse=arn:aws:s3tables:us-east-1:111122223333:bucket/amzn-s3-demo-bucket1 \
--conf spark.sql.defaultCatalog=s3tablesbucket \
--conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions           

Spark SQL を使用してテーブルをクエリします。クエリの例については、「Spark SQL を使用した S3 テーブルのクエリ」を参照してください。

次の設定を使用して、クラスターを作成します。この例を使用するには、user input placeholder の値を実際の情報に置き換えます。

aws emr create-cluster --release-label emr-7.5.0 \
--applications Name=Spark \
--configurations file://configurations.json \
--region us-east-1 \
--name My_Spark_Iceberg_Cluster \
--log-uri s3://amzn-s3-demo-bucket/ \
--instance-type m5.xlarge \
--instance-count 2 \
--service-role EMR_DefaultRole \
--ec2-attributes \

InstanceProfile=EMR_EC2_DefaultRole,SubnetId=subnet-1234567890abcdef0,KeyName=my-key-pair

configurations.json:

[{
"Classification":"iceberg-defaults",
"Properties":{"iceberg.enabled":"true"}
}]

SSH を使用して Spark プライマリノードに接続します。

次のコマンドを入力して、テーブルに接続する Iceberg の Spark セッションを初期化します。user input placeholders を、ユーザー自身の情報に置き換えます。

spark-shell \
--conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \
--conf spark.sql.defaultCatalog=s3tables \
--conf spark.sql.catalog.s3tables=org.apache.iceberg.spark.SparkCatalog \
--conf spark.sql.catalog.s3tables.catalog-impl=org.apache.iceberg.aws.glue.GlueCatalog \
--conf spark.sql.catalog.s3tables.client.region=us-east-1 \
--conf spark.sql.catalog.s3tables.glue.id=111122223333

Spark SQL を使用してテーブルをクエリします。クエリの例については、「Spark SQL を使用した S3 テーブルのクエリ」を参照してください。