Création et utilisation d'un modèle de tâche pour démarrer une exécution de tâche - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création et utilisation d'un modèle de tâche pour démarrer une exécution de tâche

Cette section décrit la création d'un modèle de tâche et son utilisation pour démarrer une tâche exécutée avec le AWS Command Line Interface (AWS CLI).

Création d'un modèle de tâche

  1. Créez un fichier create-job-template-request.json et indiquez les paramètres requis pour votre modèle de tâche, comme le montre l'exemple de fichier JSON ci-dessous. Pour plus d'informations sur tous les paramètres disponibles, consultez l'CreateJobTemplateAPI.

    La plupart des valeurs requises pour l'API StartJobRun le sont également pour jobTemplateData. Si vous souhaitez utiliser des espaces réservés pour n'importe quel paramètre et fournir des valeurs lors de l'appel à StartJobRun l'aide d'un modèle de tâche, consultez la section suivante sur les paramètres du modèle de tâche.

    {
   "name": "mytemplate",
   "jobTemplateData": {
        "executionRoleArn": "iam_role_arn_for_job_execution", 
        "releaseLabel": "emr-6.7.0-latest",
        "jobDriver": {
            "sparkSubmitJobDriver": { 
                "entryPoint": "entryPoint_location",
                "entryPointArguments": [ "argument1","argument2",...],
                "sparkSubmitParameters": "--class <main_class> --conf spark.executor.instances=2 --conf spark.executor.memory=2G --conf spark.executor.cores=2 --conf spark.driver.cores=1"
            }
        },
        "configurationOverrides": {
            "applicationConfiguration": [
                {
                    "classification": "spark-defaults", 
                    "properties": {
                         "spark.driver.memory":"2G"
                    }
                }
            ], 
            "monitoringConfiguration": {
                "persistentAppUI": "ENABLED", 
                "cloudWatchMonitoringConfiguration": {
                    "logGroupName": "my_log_group", 
                    "logStreamNamePrefix": "log_stream_prefix"
                }, 
                "s3MonitoringConfiguration": {
                    "logUri": "s3://my_s3_log_location/"
                }
            }
        }
     }
}

  2. Utilisez la commande create-job-template avec un chemin d'accès au fichier create-job-template-request.json stocké localement.

    aws emr-containers create-job-template \ 
--cli-input-json file://./create-job-template-request.json

Démarrage d'une exécution de tâche à l'aide d'un modèle de tâche

Saisissez l'identifiant du cluster virtuel, l'identifiant du modèle de tâche et le nom de la tâche dans la commande StartJobRun, comme indiqué dans l'exemple ci-dessous.

aws emr-containers start-job-run \
--virtual-cluster-id 123456 \
--name myjob \
--job-template-id 1234abcd