EMRAmazon-Clusterfehler: Fehler bei HDFS unzureichendem Speicherplatz - Amazon EMR
Mögliche UrsachenLösungen und bewährte Methoden

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

EMRAmazon-Clusterfehler: Fehler bei HDFS unzureichendem Speicherplatz

Ein Hadoop Distributed File System (HDFS) -Fehler mit unzureichendem Speicherplatz kann auftreten, wenn Sie versuchen, einen Core-Knoten zu entfernen, Amazon den Vorgang jedoch nicht sicher abschließen EMR kann, da nicht genügend Speicherplatz in der vorhanden ist. HDFS Bevor Amazon einen Core-Node EMR entfernt, müssen alle HDFS Daten auf dem Node auf andere Core-Nodes übertragen werden, um Datenredundanz zu gewährleisten. Wenn auf den anderen Kernknoten jedoch nicht genügend Speicherplatz für die Replikation vorhanden ist, EMR kann Amazon den Knoten nicht ordnungsgemäß außer Betrieb nehmen.

Mögliche Ursachen

Im Folgenden finden Sie eine Liste möglicher Ursachen für Fehler bei HDFS unzureichendem Speicherplatz:

  • Wenn Sie eine Core-Instance-Gruppe oder Instance-Flotte manuell herunterskalieren, obwohl auf den verbleibenden Knoten vor dem Herunterskalieren nicht genügend HDFS Speicherplatz für die Datenreplikation vorhanden ist.

  • Durch verwaltetes Skalieren oder Autoscaling wird eine Core-Instanzgruppe oder Instanzflotte herunterskaliert, wenn nicht genügend HDFS Speicherplatz für die Datenreplikation vorhanden ist.

  • Amazon EMR versucht, einen fehlerhaften Kernknoten zu ersetzen, kann den Knoten jedoch aufgrund des unzureichenden HDFS Speicherplatzes nicht sicher ersetzen.

Lösungen und bewährte Methoden

Im Folgenden finden Sie Lösungen und bewährte Verfahren:

  • Skalieren Sie die Anzahl der Kernknoten in Ihrem EMR Amazon-Cluster. Wenn Sie Managed Scaling oder Autoscaling verwenden, erhöhen Sie die Mindestkapazität Ihrer Kernknoten.

  • Verwenden Sie größere EBS Volumes für Ihre Kernknoten, wenn Sie Ihren EMR Cluster erstellen.

  • Löschen Sie nicht benötigte HDFS Daten in Ihrem EMR Cluster. Wir empfehlen Ihnen, CloudWatch Alarme einzurichten, um die HDFSUtilization Metrik in Ihrem Cluster zu überwachen und festzustellen, ob in Ihrem EMR Cluster wenig Speicherplatz zur Verfügung steht.