Creare e utilizzare un modello di processo per avviare l'esecuzione di un processo - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creare e utilizzare un modello di processo per avviare l'esecuzione di un processo

Questa sezione descrive la creazione di un modello di lavoro e l'utilizzo del modello per avviare un processo eseguito con AWS Command Line Interface (AWS CLI).

Per creare un modello di processo

  1. Create un create-job-template-request.json file e specificate i parametri richiesti per il modello di lavoro, come illustrato nel seguente JSON file di esempio. Per informazioni su tutti i parametri disponibili, vedere CreateJobTemplateAPI.

    La maggior parte dei valori richiesti per StartJobRun API sono obbligatori anche perjobTemplateData. Se desideri utilizzare i segnaposto per qualsiasi parametro e fornire valori quando richiami StartJobRun utilizzando un modello di lavoro, consulta la sezione successiva sui parametri del modello di lavoro.

    {
   "name": "mytemplate",
   "jobTemplateData": {
        "executionRoleArn": "iam_role_arn_for_job_execution", 
        "releaseLabel": "emr-6.7.0-latest",
        "jobDriver": {
            "sparkSubmitJobDriver": { 
                "entryPoint": "entryPoint_location",
                "entryPointArguments": [ "argument1","argument2",...],
                "sparkSubmitParameters": "--class <main_class> --conf spark.executor.instances=2 --conf spark.executor.memory=2G --conf spark.executor.cores=2 --conf spark.driver.cores=1"
            }
        },
        "configurationOverrides": {
            "applicationConfiguration": [
                {
                    "classification": "spark-defaults", 
                    "properties": {
                         "spark.driver.memory":"2G"
                    }
                }
            ], 
            "monitoringConfiguration": {
                "persistentAppUI": "ENABLED", 
                "cloudWatchMonitoringConfiguration": {
                    "logGroupName": "my_log_group", 
                    "logStreamNamePrefix": "log_stream_prefix"
                }, 
                "s3MonitoringConfiguration": {
                    "logUri": "s3://my_s3_log_location/"
                }
            }
        }
     }
}

  2. Utilizza il comando create-job-template con un percorso per il file create-job-template-request.json archiviato localmente.

    aws emr-containers create-job-template \ 
--cli-input-json file://./create-job-template-request.json

Per avviare un'esecuzione di processo utilizzando un modello di processo

Fornisci l'ID di cluster virtuale, l'ID modello di processo e il nome di processo nel comando StartJobRun, come mostrato nell'esempio seguente.

aws emr-containers start-job-run \
--virtual-cluster-id 123456 \
--name myjob \
--job-template-id 1234abcd