为 Amazon EMR 无服务器使用无服务器存储

创建 EMR 无服务器应用程序

通过在 spark-defaults 分类中将 spark 属性spark.aws.serverlessStorage.enabled设置为 true，创建启用无服务器存储的 EMR 无服务器版本 7.12（或更高版本）应用程序。

aws emr-serverless create-application \
  --type "SPARK" \
  --name my-application \
  --release-label emr-7.12.0 \
  --runtime-configuration '[{
      "classification": "spark-defaults",
        "properties": {
          "spark.aws.serverlessStorage.enabled": "true"
        }
    }]' \
  --region <AWS_REGION>

启动 Spark 作业

开始在您的应用程序上运行作业。EMR 无服务器存储服务器会自动处理中间数据操作，例如为您的任务进行洗牌。

aws emr-serverless start-job-run \
  --application-id <application-id> \
  --execution-role-arn <job-role-arn> \
  --job-driver '{
    "sparkSubmit": {
      "entryPoint": "s3://<bucket>/script.py",
      "sparkSubmitParameters": "--conf spark.executor.cores=4 
        --conf spark.executor.memory=20g 
        --conf spark.driver.cores=4 
        --conf spark.driver.memory=8g 
        --conf spark.executor.instances=10"
    }
  }'

您还可以在作业级别为 EMR Serverless 启用无服务器存储，即使未在应用程序级别启用无服务器存储。这将启动启用了无服务器存储的工作节点来处理您的任务。您还可以通过将相同的 Spark 属性设置为 false spark.aws.serverlessStorage.enabled 来禁用特定任务的无服务器存储。

# Turn on serverless storage for EMR serverless for a specific job
aws emr-serverless start-job-run \
    --application-id <application-id> \
    --execution-role-arn <job-role-arn> \
    --job-driver '{
"sparkSubmit": {
"entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi
            --conf spark.aws.serverlessStorage.enabled": "true"
        }
    }'