Criação e uso de um modelo de trabalho para iniciar uma execução de trabalho

Crie um arquivo create-job-template-request.json e especifique os parâmetros obrigatórios para seu modelo de trabalho, conforme mostrado no arquivo JSON de exemplo a seguir. Para obter informações sobre todos os parâmetros disponíveis, consulte a API CreateJobTemplate.

A maioria dos valores obrigatórios para a API StartJobRun também são obrigatórios para jobTemplateData. Se você desejar usar espaços reservados para quaisquer parâmetros e fornecer valores ao invocar StartJobRun usando um modelo de trabalho, consulte a próxima seção sobre os parâmetros de modelos de trabalhos.

{
   "name": "mytemplate",
   "jobTemplateData": {
        "executionRoleArn": "iam_role_arn_for_job_execution", 
        "releaseLabel": "emr-6.7.0-latest",
        "jobDriver": {
            "sparkSubmitJobDriver": { 
                "entryPoint": "entryPoint_location",
                "entryPointArguments": [ "argument1","argument2",...],
                "sparkSubmitParameters": "--class <main_class> --conf spark.executor.instances=2 --conf spark.executor.memory=2G --conf spark.executor.cores=2 --conf spark.driver.cores=1"
            }
        },
        "configurationOverrides": {
            "applicationConfiguration": [
                {
                    "classification": "spark-defaults", 
                    "properties": {
                         "spark.driver.memory":"2G"
                    }
                }
            ], 
            "monitoringConfiguration": {
                "persistentAppUI": "ENABLED", 
                "cloudWatchMonitoringConfiguration": {
                    "logGroupName": "my_log_group", 
                    "logStreamNamePrefix": "log_stream_prefix"
                }, 
                "s3MonitoringConfiguration": {
                    "logUri": "s3://my_s3_log_location/"
                }
            }
        }
     }
}

Use o comando create-job-template com um caminho para o arquivo create-job-template-request.json armazenado localmente.

aws emr-containers create-job-template \ 
--cli-input-json file://./create-job-template-request.json