View a markdown version of this page

Amazon EMR-Clusterfehler: HDFS-Fehler bei unzureichendem Speicherplatz - Amazon EMR
Mögliche UrsachenLösungen und bewährte Methoden

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon EMR-Clusterfehler: HDFS-Fehler bei unzureichendem Speicherplatz

Ein Hadoop Distributed File System (HDFS) -Fehler mit unzureichendem Speicherplatz kann auftreten, wenn Sie versuchen, einen Kernknoten zu entfernen, Amazon EMR den Vorgang jedoch nicht sicher abschließen kann, da im HDFS nicht mehr genügend Speicherplatz verfügbar ist. Bevor Amazon EMR einen Kernknoten entfernt, müssen alle HDFS-Daten auf dem Knoten auf andere Kernknoten übertragen werden, um die Datenredundanz sicherzustellen. Wenn auf den anderen Kernknoten jedoch nicht genügend Speicherplatz für die Replikation zur Verfügung steht, kann Amazon EMR den Knoten nicht ordnungsgemäß außer Betrieb nehmen.

Mögliche Ursachen

Im Folgenden finden Sie eine Liste möglicher Ursachen für den HDFS-Fehler aufgrund unzureichenden Speicherplatzes:

  • Wenn Sie eine Core-Instance-Gruppe oder Instance-Flotte manuell herunterskalieren, wenn auf den verbleibenden Knoten vor dem Herunterskalieren nicht genügend HDFS-Speicherplatz für die Datenreplikation vorhanden ist.

  • Bei verwalteter Skalierung oder Autoscaling wird eine Core-Instanzgruppe oder Instance-Flotte herunterskaliert, wenn nicht genügend HDFS-Speicherplatz für die Datenreplikation vorhanden ist.

  • Amazon EMR versucht, einen fehlerhaften Kernknoten zu ersetzen, kann den Knoten jedoch aufgrund unzureichenden HDFS-Speicherplatzes nicht sicher austauschen.

Lösungen und bewährte Methoden

Lösungen und bewährte Methoden finden Sie im Folgenden:

  • Erhöhen Sie die Anzahl der Core-Knoten in Ihrem Amazon EMR-Cluster. Wenn Sie verwaltete Skalierung oder Autoscaling verwenden, erhöhen Sie die Mindestkapazität Ihrer Core-Knoten.

  • Verwenden Sie größere EBS-Volumes für Ihre Core-Knoten, wenn Sie Ihren EMR-Cluster erstellen.

  • Löschen Sie nicht benötigte HDFS-Daten in Ihrem EMR-Cluster. Wir empfehlen Ihnen, CloudWatch Alarme einzurichten, um die HDFSUtilization Metrik in Ihrem Cluster zu überwachen und festzustellen, ob Ihr EMR-Cluster nur noch wenig Speicherplatz hat.