Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration d'application par défaut pour EMR Serverless

Vous pouvez définir un ensemble commun de configurations d'exécution et de surveillance au niveau de l'application pour toutes les tâches que vous soumettez dans le cadre de la même application. Cela réduit la surcharge supplémentaire associée à la nécessité de soumettre les mêmes configurations pour chaque tâche.

Vous pouvez modifier les configurations aux moments suivants :

Les sections suivantes fournissent plus de détails et fournissent un exemple pour un contexte plus détaillé.

Déclarer des configurations au niveau de l'application

Vous pouvez spécifier les propriétés de journalisation et de configuration d'exécution au niveau de l'application pour les tâches que vous soumettez dans le cadre de l'application.

Exemple de déclaration

L'exemple suivant montre comment déclarer des configurations par défaut aveccreate-application.

aws emr-serverless create-application \
    --release-label release-version  \
    --type SPARK \
    --name my-application-name \
    --runtime-configuration '[
        {
            "classification": "spark-defaults",
            "properties": {
                "spark.driver.cores": "4",
                "spark.executor.cores": "2",
                "spark.driver.memory": "8G",
                "spark.executor.memory": "8G",
                "spark.executor.instances": "2",
                "spark.hadoop.javax.jdo.option.ConnectionDriverName":"org.mariadb.jdbc.Driver",
                "spark.hadoop.javax.jdo.option.ConnectionURL":"jdbc:mysql://db-host:db-port/db-name",
                "spark.hadoop.javax.jdo.option.ConnectionUserName":"connection-user-name",
                "spark.hadoop.javax.jdo.option.ConnectionPassword": "EMR.secret@SecretID"
            }
        },
        {
            "classification": "spark-driver-log4j2",
            "properties": {
                "rootLogger.level":"error", 
                "logger.IdentifierForClass.name": "classpathForSettingLogger",
                "logger.IdentifierForClass.level": "info"
            }
        }
    ]' \
    --monitoring-configuration '{
        "s3MonitoringConfiguration": {
            "logUri": "s3://amzn-s3-demo-logging-bucket/logs/app-level"
        },
        "managedPersistenceMonitoringConfiguration": {
            "enabled": false
        }
    }'

Remplacer les configurations lors de l'exécution d'une tâche

Vous pouvez définir des remplacements de configuration pour la configuration de l'application et la configuration de surveillance à l'aide du StartJobRunAPI. EMRServerless fusionne ensuite les configurations que vous spécifiez au niveau de l'application et au niveau du travail afin de déterminer les configurations pour l'exécution du travail.

Le niveau de granularité lors de la fusion est le suivant :

Pour plus d'informations sur les classements prioritaires, voir Paramètre de remplacement de la configuration Hive etParamètre de remplacement de la configuration Spark.

Lorsque vous démarrez une tâche, si vous ne spécifiez pas de configuration particulière, elle est héritée de l'application. Si vous déclarez les configurations au niveau de la tâche, vous pouvez effectuer les opérations suivantes :

Exemple de dérogation

L'exemple suivant montre les différentes opérations que vous pouvez effectuer lors de la soumission d'une tâche surstart-job-run.

aws emr-serverless start-job-run \
    --application-id your-application-id \
    --execution-role-arn your-job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py", 
            "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket1/wordcount_output"]
        }
    }' \
    --configuration-overrides '{
        "applicationConfiguration": [ 
            {
                // Override existing configuration for spark-defaults in the application
                "classification": "spark-defaults", 
                "properties": {
                    "spark.driver.cores": "2",
                    "spark.executor.cores": "1",
                    "spark.driver.memory": "4G",
                    "spark.executor.memory": "4G"
                }
            },
            {
                // Add configuration for spark-executor-log4j2
                "classification": "spark-executor-log4j2",
                "properties": {
                    "rootLogger.level": "error", 
                    "logger.IdentifierForClass.name": "classpathForSettingLogger",
                    "logger.IdentifierForClass.level": "info"
                }
            },
            {
                // Remove existing configuration for spark-driver-log4j2 from the application
                "classification": "spark-driver-log4j2",
                "properties": {}
            }
        ],
        "monitoringConfiguration": {
            "managedPersistenceMonitoringConfiguration": {
                // Override existing configuration for managed persistence
                "enabled": true
            },
            "s3MonitoringConfiguration": {
                // Remove configuration of S3 monitoring
            },
            "cloudWatchLoggingConfiguration": {
                // Add configuration for CloudWatch logging
                "enabled": true
            }
        }
    }'

Au moment de l'exécution de la tâche, les classifications et configurations suivantes s'appliqueront en fonction du classement de priorité décrit dans Paramètre de remplacement de la configuration Hive etParamètre de remplacement de la configuration Spark.