Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration de Spark

Vous pouvez configurer Spark sur Amazon à l'EMRaide de classifications de configuration. Pour plus d'informations sur les classifications de configuration, consultez Configuration des applications.

Les classifications de configuration pour Spark on Amazon EMR sont les suivantes :

Paramètres par défaut de Spark définis par Amazon EMR

Le tableau suivant montre comment Amazon EMR définit les valeurs par défaut spark-defaults qui affectent les applications.

Configuration de la collecte des déchets Spark sur Amazon EMR 6.1.0

La définition de configurations personnalisées de collecte des déchets avec spark.driver.extraJavaOptions et spark.executor.extraJavaOptions entraîne un échec du lancement du pilote ou de l'exécuteur avec Amazon EMR 6.1 en raison d'une configuration de collecte des déchets conflictuelle avec Amazon EMR 6.1.0. Pour Amazon EMR 6.1.0, la configuration de collecte des déchets par défaut est définie via spark.driver.defaultJavaOptions etspark.executor.defaultJavaOptions. Cette configuration s'applique uniquement à Amazon EMR 6.1.0. JVMles options non liées à la collecte des déchets, telles que celles permettant de configurer logging (-verbose:class), peuvent toujours être définiesextraJavaOptions. Pour plus d'informations, consultez Propriétés de l'application Spark.

Utiliser maximizeResourceAllocation

Pour configurer vos exécuteurs afin qu'ils utilisent le maximum de ressources possibles sur chaque nœud d'un cluster, définissez maximizeResourceAllocation sur true dans votre classification de configuration spark. maximizeResourceAllocationC'est spécifique à AmazonEMR. Lorsque vous l'activezmaximizeResourceAllocation, Amazon EMR calcule les ressources de calcul et de mémoire maximales disponibles pour un exécuteur sur une instance du groupe d'instances principal. Il définit ensuite les paramètres correspondants spark-defaults en fonction des valeurs maximales calculées.

Amazon EMR calcule les ressources de calcul et de mémoire maximales disponibles pour un exécuteur en fonction d'un type d'instance issu du parc d'instances principal. Étant donné que chaque parc d'instances peut avoir des types et des tailles d'instances différents au sein d'un même parc, la configuration d'exécuteur EMR utilisée par Amazon n'est peut-être pas la meilleure pour vos clusters. Nous vous déconseillons donc d'utiliser les paramètres par défaut lors de l'utilisation d'une allocation de ressources maximale. Configurez des paramètres personnalisés pour vos clusters de flotte d'instances.

Voici un exemple de classification de configuration Spark avec maximizeResourceAllocation défini sur true.

[
  {
    "Classification": "spark",
    "Properties": {
      "maximizeResourceAllocation": "true"
    }
  }
]

Configuration du comportement de mise hors service du nœud

Avec les EMR versions 5.9.0 et supérieures d'Amazon, Spark on Amazon EMR inclut un ensemble de fonctionnalités permettant de garantir que Spark gère correctement la terminaison des nœuds en raison d'un redimensionnement manuel ou d'une demande de politique de dimensionnement automatique. Amazon EMR implémente un mécanisme de refus d'inscription dans Spark qui repose sur le mécanisme de YARN mise hors service. Ce mécanisme aide à garantir qu'aucune nouvelle tâche n'est planifiée sur un nœud qui est mis hors service, tout en autorisant dans le même temps que les tâches déjà en cours d'exécution se terminent. En outre, il existe des fonctionnalités qui permettent de rétablir les tâches Spark plus rapidement en cas de perte de blocs aléatoires lors de la terminaison d'un nœud. Le processus de recalcul est déclenché plus tôt et optimisé pour un recalcul plus rapide avec moins de tentatives d'étape ; en outre, il est possible d'empêcher l'échec des tâches dû aux défaillances d'extraction provoquées par les blocs aléatoires manquants.

Variable d' ThriftServer environnement Spark

Spark définit la variable d'environnement du port de serveur Thrift Hive, HIVE_SERVER2_THRIFT_PORT, sur 10001.

Modification des paramètres Spark par défaut

Vous modifiez les paramètres par défaut dans spark-defaults.conf à l'aide de la classification de configuration spark-defaults ou du paramètre maximizeResourceAllocation dans la classification de configuration spark.

Les procédures suivantes indiquent comment modifier les paramètres à l'aide de la console CLI or.

Migration d'Apache Log4j 1.x vers Log4j 2.x

Les versions 3.2.x et antérieures d'Apache Spark utilisent l'ancien Apache Log4j 1.x et le fichier log4j.properties pour configurer Log4j dans les processus Spark. Les versions 3.3.0 et ultérieures d'Apache Spark utilisent Apache Log4j 2.x et le fichier log4j2.properties pour configurer Log4j dans les processus Spark.

Si vous avez configuré Apache Spark Log4j à l'aide d'une EMR version d'Amazon inférieure à la version 6.8.0, vous devez supprimer l'ancienne classification de spark-log4j configuration et migrer vers la classification de spark-log4j2 configuration et le format de clé avant de pouvoir passer à Amazon EMR 6.8.0 ou version ultérieure. L'ancienne spark-log4j classification entraîne l'échec de la création de clusters avec une ValidationException erreur dans les EMR versions 6.8.0 et ultérieures d'Amazon. Aucun frais ne vous sera facturé en cas de panne liée à l'incompatibilité de Log4j, mais vous devez supprimer la classification de configuration obsolète spark-log4j pour continuer.

Pour plus d'informations sur la migration d'Apache Log4j 1.x vers Log4j 2.x, consultez le Guide de migration d'Apache Log4j et le Modèle Spark Log4j 2 sur Github.