本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
建立並使用任務範本來啟動任務執行
本節說明建立任務範本,以及使用範本開始使用 AWS Command Line Interface () 開始任務執行AWS CLI。
建立作業範本
-
建立
create-job-template-request.json
檔案並指定任務範本的必要參數,如下列範例JSON檔案所示。如需所有可用參數的相關資訊,請參閱 CreateJobTemplate API。StartJobRun
API 也需要 所需的大多數值jobTemplateData
。如果您想要在任何參數中使用預留位置,並在 StartJobRun 使用任務範本叫用時提供值,請參閱任務範本參數的下一節。{ "name": "
mytemplate
", "jobTemplateData": { "executionRoleArn": "iam_role_arn_for_job_execution
", "releaseLabel": "emr-6.7.0-latest", "jobDriver": { "sparkSubmitJobDriver": { "entryPoint": "entryPoint_location
", "entryPointArguments": [ "argument1
","argument2
",...], "sparkSubmitParameters": "--class <main_class
> --conf spark.executor.instances=2 --conf spark.executor.memory=2G --conf spark.executor.cores=2 --conf spark.driver.cores=1" } }, "configurationOverrides": { "applicationConfiguration": [ { "classification": "spark-defaults", "properties": { "spark.driver.memory":"2G" } } ], "monitoringConfiguration": { "persistentAppUI": "ENABLED", "cloudWatchMonitoringConfiguration": { "logGroupName": "my_log_group
", "logStreamNamePrefix": "log_stream_prefix
" }, "s3MonitoringConfiguration": { "logUri": "s3://my_s3_log_location
/" } } } } } -
搭配使用
create-job-template
命令與儲存在本機的create-job-template-request.json
檔案路徑。aws emr-containers create-job-template \ --cli-input-json file:
//./create-job-template-request.json
使用作業範本來啟動作業執行
在 StartJobRun
命令中提供虛擬叢集 ID、作業範本 ID 以及作業名稱,如以下範例所示。
aws emr-containers start-job-run \ --virtual-cluster-id
123456
\ --namemyjob
\ --job-template-id1234abcd