本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Spark 职位

您可以在type参数设置为的情况下在应用程序上运行 Spark 作业SPARK。任务必须与与亚马逊EMR发行版兼容的 Spark 版本兼容。例如，当你使用亚马逊EMR版本 6.6.0 运行作业时，你的任务必须与 Apache Spark 3.2.0 兼容。有关每个版本的应用程序版本的信息，请参阅Amazon EMR 无服务器发布版本。

Spark 作业参数

使用运行 Spark 作业时，可以指定以下参数。StartJobRunAPI

Spark 作业运行时角色

用于executionRoleArn为应用程序ARN用于执行 Spark 作业的IAM角色指定。此角色必须包含以下权限：

如果您的 Spark 作业向其他数据源读取或写入数据，请在此IAM角色中指定相应的权限。如果您不向IAM角色提供这些权限，则任务可能会失败。有关更多信息，请参阅Amazon EMR Serverless 的 Job 运行时角色 和存储日志。

Spark 作业驱动程序参数

用于jobDriver为作业提供输入。对于要运行的作业类型，作业驱动程序参数仅接受一个值。对于 Spark 作业，参数值为sparkSubmit。您可以使用此作业类型通过 Spark 提交来运行 Scala、Java PySpark、、SparkR 以及任何其他支持的作业。Spark 作业具有以下参数：

有关更多信息，请参阅使用 spark-submit 启动应用程序。

Spark 配置覆盖参数

configurationOverrides用于覆盖监控级别和应用程序级别的配置属性。此参数接受具有以下两个字段的JSON对象：

如果您在应用程序覆盖和 Spark 提交参数中使用相同的配置，则 Spark 提交参数优先。配置的优先级按以下顺序排列，从高到低：

有关在应用程序级别声明配置以及在作业运行期间覆盖配置的更多信息，请参阅EMR无服务器的默认应用程序配置。

Spark 动态资源分配优化

dynamicAllocationOptimization用于优化EMR无服务器中的资源使用情况。true在你的 Spark 配置分类中将此属性设置为表示EMR无服务器需要优化执行器资源分配，以便更好地将 Spark 请求和取消执行者的速率与 S EMR erverless 创建和释放工作人员的速率保持一致。通过这样做，EMRServerless 可以更优化地跨阶段重复使用工作人员，从而在运行多个阶段的作业时降低成本，同时保持相同的性能。

此属性在所有 Amazon EMR 发行版本中都可用。

以下是配置分类示例dynamicAllocationOptimization。

[
  {
    "Classification": "spark",
    "Properties": {
      "dynamicAllocationOptimization": "true"
    }
  }
]

如果您使用的是动态分配优化，请考虑以下几点：

Spark 作业属性

下表列出了可选的 Spark 属性及其默认值，您可以在提交 Spark 作业时覆盖这些属性。

下表列出了默认的 Spark 提交参数。

火花示例

以下示例说明如何使用运行 Python 脚本。StartJobRun API有关使用此示例的 end-to-end教程，请参阅开始使用 Amazon EMR Serverless。您可以在EMR无服务器示例 GitHub 存储库中找到有关如何运行 PySpark 作业和添加 Python 依赖关系的其他示例。

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py",
            "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket/wordcount_output"],
            "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }'

以下示例说明如何使用运行 Spark JAR。StartJobRun API

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }'