Erreur EMR du cluster Amazon : erreur d'espace HDFS insuffisant - Amazon EMR
Causes possibles :Solutions et meilleures pratiques

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Erreur EMR du cluster Amazon : erreur d'espace HDFS insuffisant

Une erreur d'espace insuffisant dans le système de fichiers distribué Hadoop (HDFS) peut survenir si vous tentez de supprimer un nœud principal, mais Amazon ne EMR peut pas terminer l'opération en toute sécurité en raison de l'espace insuffisant restant dans le. HDFS Avant qu'Amazon ne EMR supprime un nœud principal, toutes les HDFS données du nœud doivent être transférées vers d'autres nœuds principaux pour garantir la redondance des données. Toutefois, s'il n'y a pas assez d'espace sur les autres nœuds principaux pour la réplication, Amazon ne EMR peut pas mettre le nœud hors service correctement.

Causes possibles :

Consultez la liste suivante pour obtenir une liste des causes possibles d'une erreur d'espace HDFS insuffisant :

  • Si vous réduisez manuellement un groupe d'instances principal ou un parc d'instances alors qu'il n'y a pas assez d'HDFSespace sur les nœuds restants pour la réplication des données avant la réduction.

  • Le dimensionnement géré ou le dimensionnement automatique permet de réduire un groupe d'instances principal ou un parc d'instances lorsqu'il n'y a pas assez d'HDFSespace pour la réplication des données.

  • Amazon EMR tente de remplacer un nœud principal défectueux mais ne parvient pas à le remplacer en toute sécurité en raison d'un HDFS espace insuffisant.

Solutions et meilleures pratiques

Consultez les informations suivantes pour connaître les solutions et les meilleures pratiques :

  • Augmentez le nombre de nœuds principaux de votre EMR cluster Amazon. Si vous utilisez le dimensionnement géré ou l'autoscaling, augmentez la capacité minimale de vos nœuds principaux.

  • Utilisez EBS des volumes plus importants pour vos nœuds principaux lorsque vous créez votre EMR cluster.

  • Supprimez les HDFS données inutiles de votre EMR cluster. Nous vous recommandons de configurer des CloudWatch alarmes pour surveiller la HDFSUtilization métrique de votre cluster afin de savoir si l'espace de votre EMR cluster est insuffisant.