Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation des configurations Spark lorsque vous exécutez des EMR tâches sans serveur

Vous pouvez exécuter des tâches Spark sur une application dont le type paramètre est défini surSPARK. Les tâches doivent être compatibles avec la version de Spark compatible avec la version de EMR lancement d'Amazon. Par exemple, lorsque vous exécutez des tâches avec Amazon EMR version 6.6.0, celles-ci doivent être compatibles avec Apache Spark 3.2.0. Pour plus d'informations sur les versions de l'application pour chaque version, consultezVersions de lancement d'Amazon EMR Serverless.

Paramètres de la tâche Spark

Lorsque vous utilisez le StartJobRunAPIpour exécuter une tâche Spark, vous pouvez spécifier les paramètres suivants.

Rôle d'exécution de la tâche Spark

Utilisez executionRoleArnpour spécifier le ARN IAM rôle que votre application utilise pour exécuter les tâches Spark. Ce rôle doit contenir les autorisations suivantes :

Si votre tâche Spark lit ou écrit des données depuis ou vers d'autres sources de données, spécifiez les autorisations appropriées pour ce IAM rôle. Si vous n'accordez pas ces autorisations au IAM rôle, la tâche risque d'échouer. Pour plus d’informations, consultez Rôles d'exécution des tâches pour Amazon EMR Serverless et Stockage des journaux.

Paramètre du pilote de tâche Spark

jobDriverÀ utiliser pour fournir des informations sur la tâche. Le paramètre du pilote de tâche n'accepte qu'une seule valeur pour le type de tâche que vous souhaitez exécuter. Pour une tâche Spark, la valeur du paramètre estsparkSubmit. Vous pouvez utiliser ce type de tâche pour exécuter Scala, Java PySpark, SparkR et toute autre tâche prise en charge via Spark submit. Les tâches Spark ont les paramètres suivants :

Pour plus d'informations, consultez la rubrique Lancement d'applications à l'aide de spark-submit.

Paramètre de remplacement de la configuration Spark

configurationOverridesÀ utiliser pour remplacer les propriétés de configuration au niveau de la surveillance et au niveau de l'application. Ce paramètre accepte un JSON objet contenant les deux champs suivants :

Si vous utilisez la même configuration dans une dérogation d'application et dans les paramètres d'envoi de Spark, les paramètres d'envoi de Spark sont prioritaires. Les configurations sont classées par ordre de priorité comme suit, du plus haut au plus bas :

Pour plus d'informations sur la déclaration de configurations au niveau de l'application et sur le remplacement de configurations lors de l'exécution d'une tâche, consultezConfiguration d'application par défaut pour EMR Serverless.

Optimisation dynamique de l'allocation des ressources

dynamicAllocationOptimizationÀ utiliser pour optimiser l'utilisation des ressources dans EMR Serverless. La définition de cette propriété sur true dans votre classification de configuration Spark indique à EMR Serverless d'optimiser l'allocation des ressources des exécuteurs afin de mieux aligner le taux auquel Spark demande et annule des exécuteurs avec le taux auquel EMR Serverless crée et libère des travailleurs. EMRServerless réutilise ainsi de manière plus optimale les travailleurs d'une étape à l'autre, ce qui permet de réduire les coûts lors de l'exécution de tâches comportant plusieurs étapes tout en maintenant les mêmes performances.

Cette propriété est disponible dans toutes les EMR versions d'Amazon.

Voici un exemple de classification de configuration avecdynamicAllocationOptimization.

[
  {
    "Classification": "spark",
    "Properties": {
      "dynamicAllocationOptimization": "true"
    }
  }
]

Tenez compte des points suivants si vous utilisez l'optimisation de l'allocation dynamique :

Propriétés de la tâche Spark

Le tableau suivant répertorie les propriétés Spark facultatives et leurs valeurs par défaut que vous pouvez remplacer lorsque vous soumettez une tâche Spark.

Le tableau suivant répertorie les paramètres d'envoi par défaut de Spark.

Exemples Spark

L'exemple suivant montre comment utiliser le StartJobRun API pour exécuter un script Python. Pour un end-to-end didacticiel utilisant cet exemple, voirCommencer à utiliser Amazon EMR Serverless. Vous trouverez d'autres exemples d'exécution de PySpark tâches et d'ajout de dépendances Python dans le GitHub référentiel EMRServerless Samples.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py",
            "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket/wordcount_output"],
            "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }'

L'exemple suivant montre comment utiliser le StartJobRun API pour exécuter un SparkJAR.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar",
            "entryPointArguments": ["1"],
            "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }'