Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Erreur de cluster Amazon EMR : erreur liée au facteur de réplication HDFS
Lorsque vous supprimez un nœud principal d'un groupe d'instances principal ou d'un parc d'instances, Amazon EMR peut rencontrer une erreur de réplication HDFS. Cette erreur se produit lorsque vous supprimez des nœuds principaux et que le nombre de nœuds principaux est inférieur au facteur dfs.replication configuré pour le système de fichiers distribué Hadoop (HDFS). Amazon EMR ne peut donc pas effectuer l'opération en toute sécurité. Pour déterminer la valeur par défaut de la dfs.replication configuration, configuration HDFS.
Causes possibles :
Consultez les rubriques suivantes pour connaître les causes possibles de l'erreur du facteur de réplication HDFS :
-
Si vous redimensionnez manuellement un groupe d'instances principal ou un parc d'instances en dessous du
dfs.replicationfacteur configuré. -
Vos politiques de dimensionnement géré ou de dimensionnement automatique peuvent permettre une mise à l'échelle afin de réduire le nombre de nœuds principaux en dessous du seuil de
dfs.replication. -
Cette erreur peut également se produire si Amazon EMR essaie de remplacer un nœud principal défectueux alors qu'un cluster possède le nombre minimal de nœuds principaux défini par
dfs.replication.
Solutions et meilleures pratiques
Consultez les solutions et les meilleures pratiques suivantes :
-
Lorsque vous redimensionnez manuellement un cluster Amazon EMR, ne le réduisez pas en dessous de la valeur,
dfs.replicationcar Amazon EMR ne peut pas effectuer le redimensionnement en toute sécurité. -
Lorsque vous utilisez la mise à l'échelle gérée ou la mise à l'échelle automatique, assurez-vous que la capacité minimale de votre cluster n'est pas inférieure au
dfs.replicationfacteur. -
Le nombre d'instances principales doit être d'au moins
dfs.replicationplus une. Cela garantit qu'Amazon EMR peut remplacer avec succès un nœud principal défectueux si vous avez activé le remplacement du cœur défectueux.
Important
La défaillance d'un nœud monocœur peut entraîner une perte de données HDFS si vous définissez dfs.replication la valeur 1. Si votre cluster dispose d'un stockage HDFS, nous vous recommandons de configurer le cluster avec au moins quatre nœuds principaux pour les charges de travail de production afin d'éviter les pertes de données et de définir le dfs.replication facteur sur au moins 2.
