Amazon EMR on EKS에서 Apache Iceberg 사용 - Amazon EMR

Amazon EMR on EKS에서 Apache Iceberg 사용

Iceberg용 런타임 JAR에는 Spark 런타임 지원에 필요한 Iceberg 클래스가 포함되어 있습니다. 다음 절차에서는 Iceberg Spark 런타임을 사용하여 작업 실행을 시작하는 방법을 보여줍니다.

Amazon EMR on EKS 애플리케이션에서 Apache Iceberg를 사용하는 방법

  1. 애플리케이션 구성에서 Spark 작업을 제출하기 위해 작업 실행을 시작하는 경우 Iceberg Spark 런타임 JAR 파일을 포함합니다.

    --job-driver '{"sparkSubmitJobDriver" : {"sparkSubmitParameters" : "--jars local:///usr/share/aws/iceberg/lib/iceberg-spark3-runtime.jar"}}'

  2. Iceberg 추가 구성을 포함합니다.

    --configuration-overrides '{
    "applicationConfiguration": [
    "classification" : "spark-defaults", 
    "properties" : {
        "spark.sql.catalog.dev.warehouse" : "s3://amzn-s3-demo-bucket/EXAMPLE-PREFIX/ ", 
        "spark.sql.extensions ":" org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions ", 
        "spark.sql.catalog.dev" : "org.apache.iceberg.spark.SparkCatalog",
        "spark.sql.catalog.dev.catalog-impl" : "org.apache.iceberg.aws.glue.GlueCatalog",
        "spark.sql.catalog.dev.io-impl": "org.apache.iceberg.aws.s3.S3FileIO"
        }
    ]
}'

EMR의 Apache Iceberg 릴리스 버전에 대한 자세한 내용은 Iceberg 릴리스 기록을 참조하세요.