本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Spark 任務

您可以在 type 參數設定為 的應用程式上執行 Spark 任務SPARK。任務必須與與 Amazon EMR發行版本相容的 Spark 版本相容。例如，當您使用 Amazon 6.6.0 EMR版執行任務時，您的任務必須與 Apache Spark 3.2.0 相容。如需每個版本應用程式版本的資訊，請參閱 Amazon EMR Serverless 發行版本。

Spark 任務參數

當您使用 StartJobRun API 執行 Spark 任務時，您可以指定下列參數。

Spark 任務執行期角色

使用 ARN executionRoleArn為應用程式用來執行 Spark 任務IAM的角色指定 。此角色必須包含下列許可：

如果您的 Spark 任務讀取或寫入來自其他資料來源的資料，請在此IAM角色中指定適當的許可。如果您未提供這些許可給IAM角色，任務可能會失敗。如需詳細資訊，請參閱 Amazon EMR Serverless 的任務執行期角色 和 儲存日誌。

Spark 任務驅動程式參數

jobDriver 使用 為任務提供輸入。任務驅動程式參數只接受一個您要執行的任務類型值。對於 Spark 任務，參數值為 sparkSubmit。您可以使用此任務類型，透過 Spark 提交執行 Scala、Java、 PySparkSparkR 和任何其他支援的任務。Spark 任務具有下列參數：

如需其他資訊，請參閱透過 spark-submit 啟動應用程式。

Spark 組態覆寫參數

使用 configurationOverrides 覆寫監控層級和應用程式層級組態屬性。此參數接受具有下列兩個欄位的JSON物件：

如果您在應用程式覆寫和 Spark 提交參數中使用相同的組態，Spark 提交參數會優先處理。組態的優先順序如下，從最高到最低：

如需在應用程式層級宣告組態以及在任務執行期間覆寫組態的詳細資訊，請參閱 EMR Serverless 的預設應用程式組態。

Spark 動態資源配置最佳化

使用 dynamicAllocationOptimization 來最佳化 EMR Serverless 中的資源用量。在 Spark 組態分類true中將此屬性設定為 表示 為 EMR Serverless，以最佳化執行器資源配置，以更好地調整 Spark 請求和取消執行器的速度與 EMR Serverless 建立和釋放工作者的速度。如此一來，EMRServerless 就更能在各個階段以最佳方式重複使用工作者，因此在執行具有多個階段的任務時降低成本，同時維持相同的效能。

此屬性適用於所有 Amazon EMR發行版本。

以下是使用 的範例組態分類dynamicAllocationOptimization。

[
  {
    "Classification": "spark",
    "Properties": {
      "dynamicAllocationOptimization": "true"
    }
  }
]

如果您使用的是動態配置最佳化，請考慮下列事項：

Spark 任務屬性

下表列出選用的 Spark 屬性及其預設值，您可以在提交 Spark 任務時覆寫這些屬性。

下表列出預設 Spark 提交參數。

Spark 範例

下列範例示範如何使用 StartJobRunAPI來執行 Python 指令碼。如需使用此範例的教學課程 end-to-end，請參閱 Amazon EMR Serverless 入門。您可以在 EMR Serverless Samples GitHub 儲存庫中找到有關如何執行 PySpark 任務和新增 Python 相依性的其他範例。

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py",
            "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket/wordcount_output"],
            "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }'

下列範例示範如何使用 StartJobRunAPI來執行 Spark JAR。

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }'