Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Erreur EMR du cluster Amazon : nœuds listés par refus
Le NodeManager daemon est chargé de lancer et de gérer les conteneurs sur les nœuds principaux et les nœuds de tâches. Les conteneurs sont alloués au NodeManager démon par le ResourceManager démon qui s'exécute sur le nœud maître. Le ResourceManager surveille le NodeManager nœud par un battement de cœur.
Dans certaines situations, le ResourceManager daemon deny répertorie a NodeManager, le supprimant du pool de nœuds disponibles pour traiter les tâches :
-
Si aucun battement de cœur n' NodeManager a été envoyé au ResourceManager daemon au cours des 10 dernières minutes (600 000 millisecondes). Cette période de temps peut être configurée à l'aide du paramètre de configuration
yarn.nm.liveness-monitor.expiry-interval-ms. Pour plus d'informations sur la modification des paramètres de configuration de Yarn, consultez la section Configuration des applications dans le Amazon EMR Release Guide. -
NodeManager vérifie l'état des disques déterminé par
yarn.nodemanager.local-dirsetyarn.nodemanager.log-dirs. Les vérifications incluent les autorisations et l'espace disque disponible (< 90 %). Si un disque échoue à la vérification, il NodeManager cesse de l'utiliser mais indique toujours que l'état du nœud est sain. Si plusieurs disques échouent à la vérification, le nœud est signalé comme étant défectueux ResourceManager et aucun nouveau conteneur ne lui est attribué.
Le responsable de l'application peut également refuser de NodeManager répertorier un nœud si plus de trois tâches ont échoué. Vous pouvez le remplacer par une valeur plus élevée à l'aide du paramètre de configuration mapreduce.job.maxtaskfailures.per.tracker. D'autres paramètres de configuration que vous pouvez modifier contrôlent le nombre de tentatives pour une tâche avant de l'indiquer comme ayant échoué : mapreduce.map.max.attempts pour les tâches Map et mapreduce.reduce.maxattempts pour les tâches Reduce. Pour plus d'informations sur la modification des paramètres de configuration, consultez la section Configuration des applications dans le Amazon EMR Release Guide.
