本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

執行無EMR伺服器任務時使用 Spark 組態

您可以在 type 參數設定為 的應用程式上執行 Spark 任務SPARK。任務必須與與 Amazon EMR發行版本相容的 Spark 版本相容。例如，當您使用 Amazon 6.6.0 EMR版執行任務時，您的任務必須與 Apache Spark 3.2.0 相容。如需每個版本之應用程式版本的相關資訊，請參閱 Amazon EMR Serverless 發行版本。

Spark 任務參數

當您使用 StartJobRunAPI執行 Spark 任務時，您可以指定下列參數。

Spark 任務執行期角色

使用 ARN executionRoleArn為您的應用程式用來執行 Spark 任務IAM的角色指定 。此角色必須包含下列許可：

如果您的 Spark 任務讀取資料或將資料寫入至其他資料來源或從中寫入，請指定此IAM角色的適當許可。如果您未提供這些許可給IAM角色，任務可能會失敗。如需詳細資訊，請參閱 Amazon EMR Serverless 的任務執行期角色 和 儲存日誌。

Spark 任務驅動程式參數

使用 jobDriver為任務提供輸入。任務驅動程式參數只接受您要執行之任務類型的一個值。對於 Spark 任務，參數值為 sparkSubmit。您可以使用此任務類型，透過 Spark 提交執行 Scala、Java、 PySparkSparkR 和任何其他支援的任務。Spark 任務具有下列參數：

如需其他資訊，請參閱透過 spark-submit 啟動應用程式。

Spark 組態覆寫參數

使用 configurationOverrides覆寫監控層級和應用程式層級組態屬性。此參數接受具有下列兩個欄位的JSON物件：

如果您在應用程式覆寫和 Spark 提交參數中使用相同的組態，Spark 提交參數會優先。組態的優先順序如下，從最高到最低：

如需在應用程式層級宣告組態，以及在任務執行期間覆寫組態的詳細資訊，請參閱 EMR Serverless 的預設應用程式組態。

Spark 動態資源配置最佳化

使用 dynamicAllocationOptimization 來最佳化 EMR Serverless 中的資源用量。在 Spark 組態分類true中將此屬性設定為 表示 為 EMR Serverless，以最佳化執行器資源配置，以更符合 Spark 請求和取消執行器的速率與 EMR Serverless 建立和發佈工作者的速率。如此一來，EMRServerless 就能在各個階段以最佳方式重複使用工作者，進而在執行具有多個階段的任務時降低成本，同時維持相同的效能。

此屬性適用於所有 Amazon EMR發行版本。

以下是使用 的範例組態分類dynamicAllocationOptimization。

[
  {
    "Classification": "spark",
    "Properties": {
      "dynamicAllocationOptimization": "true"
    }
  }
]

如果您使用動態配置最佳化，請考慮以下事項：

Spark 任務屬性

下表列出選用的 Spark 屬性及其預設值，您可以在提交 Spark 任務時覆寫這些屬性。

下表列出預設 Spark 提交參數。

Spark 範例

下列範例示範如何使用 StartJobRunAPI來執行 Python 指令碼。如需使用此範例的教學課程 end-to-end，請參閱 Amazon EMR Serverless 入門。您可以在 EMR Serverless Samples GitHub 儲存庫中找到有關如何執行 PySpark 任務和新增 Python 相依性的其他範例。

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py",
            "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket/wordcount_output"],
            "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }'

下列範例示範如何使用 StartJobRunAPI來執行 Spark JAR。

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }'