Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Erreur de cluster Amazon EMR : le fichier n'a pu être répliqué que sur 0 nœud au lieu de 1
Lorsqu'un fichier est écrit dans HDFS, il est répliqué sur plusieurs nœuds principaux. Lorsque cette erreur s'affiche, cela signifie que le NameNode démon ne dispose d'aucune DataNode instance disponible sur laquelle écrire des données dans HDFS. En d'autres termes, la réplication de bloc n'a pas lieu. Cette erreur peut être provoquée par un certain nombre de problèmes :
-
Le système de fichiers HDFS peut être venu à manquer d'espace. C'est la cause la plus probable.
-
DataNode les instances n'étaient peut-être pas disponibles au moment de l'exécution de la tâche.
-
DataNode les instances ont peut-être été empêchées de communiquer avec le nœud maître.
-
Des instances dans le groupe d'instance principal peuvent ne pas être disponibles.
-
Des autorisations peuvent être manquantes. Par exemple, le JobTracker démon n'est peut-être pas autorisé à créer des informations de suivi des tâches.
-
Le paramètre d'espace réservé pour une DataNode instance peut être insuffisant. Vérifiez si tel est le cas en contrôlant le paramètre de configuration dfs.datanode.du.reserved.
Pour vérifier si ce problème est dû au manque d'espace disque du HDFS, examinez la HDFSUtilization métrique contenue dans CloudWatch. Si cette valeur est trop élevée, vous pouvez ajouter des nœuds principaux supplémentaires au cluster. Si vous pensez que votre cluster risque de manquer d'espace disque HDFS, vous pouvez configurer une alarme CloudWatch pour vous avertir lorsque la valeur de HDFSUtilization dépasse un certain niveau. Pour plus d’informations, consultez Redimensionner manuellement un cluster Amazon EMR en cours d'exécution et Surveillance des métriques Amazon EMR avec CloudWatch.
Si le manque d'espace HDFS n'était pas à l'origine du problème, consultez les DataNode journaux, les NameNode journaux et la connectivité réseau pour détecter d'autres problèmes qui auraient pu empêcher HDFS de répliquer les données. Pour de plus amples informations, veuillez consulter Afficher les fichiers journaux Amazon EMR.
