建立並使用任務範本來啟動任務執行 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

建立並使用任務範本來啟動任務執行

本節說明建立任務範本,以及使用範本開始使用 AWS Command Line Interface () 開始任務執行AWS CLI。

建立作業範本

  1. 建立create-job-template-request.json檔案並指定任務範本的必要參數,如下列範例JSON檔案所示。如需所有可用參數的相關資訊,請參閱 CreateJobTemplate API。

    StartJobRun API 也需要 所需的大多數值jobTemplateData。如果您想要在任何參數中使用預留位置,並在 StartJobRun 使用任務範本叫用時提供值,請參閱任務範本參數的下一節。

    { "name": "mytemplate", "jobTemplateData": { "executionRoleArn": "iam_role_arn_for_job_execution", "releaseLabel": "emr-6.7.0-latest", "jobDriver": { "sparkSubmitJobDriver": { "entryPoint": "entryPoint_location", "entryPointArguments": [ "argument1","argument2",...], "sparkSubmitParameters": "--class <main_class> --conf spark.executor.instances=2 --conf spark.executor.memory=2G --conf spark.executor.cores=2 --conf spark.driver.cores=1" } }, "configurationOverrides": { "applicationConfiguration": [ { "classification": "spark-defaults", "properties": { "spark.driver.memory":"2G" } } ], "monitoringConfiguration": { "persistentAppUI": "ENABLED", "cloudWatchMonitoringConfiguration": { "logGroupName": "my_log_group", "logStreamNamePrefix": "log_stream_prefix" }, "s3MonitoringConfiguration": { "logUri": "s3://my_s3_log_location/" } } } } }
  2. 搭配使用 create-job-template 命令與儲存在本機的 create-job-template-request.json 檔案路徑。

    aws emr-containers create-job-template \ --cli-input-json file://./create-job-template-request.json

使用作業範本來啟動作業執行

StartJobRun 命令中提供虛擬叢集 ID、作業範本 ID 以及作業名稱,如以下範例所示。

aws emr-containers start-job-run \ --virtual-cluster-id 123456 \ --name myjob \ --job-template-id 1234abcd