Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Amazon EMR-Clusterfehler: Die Datei konnte nur auf 0 Knoten statt auf 1 repliziert werden
Wenn eine Datei in HDFS geschrieben wird, wird sie in mehreren Core-Knoten repliziert. Wenn Sie diesen Fehler sehen, bedeutet das, dass der NameNode Daemon keine verfügbaren DataNode Instanzen hat, auf die Daten in HDFS geschrieben werden können. Mit anderen Worten, es findet keine Block-Replikation statt. Dieser Fehler kann durch eine Reihe von Problemen verursacht werden:
-
Das HDFS-Dateisystem hat keinen verfügbaren Speicherplatz. Dies ist die wahrscheinlichste Ursache.
-
DataNode Instanzen waren möglicherweise nicht verfügbar, als der Job ausgeführt wurde.
-
DataNode Instances wurden möglicherweise daran gehindert, mit dem Master-Knoten zu kommunizieren.
-
Instances in der Core-Instance-Gruppe sind möglicherweise nicht verfügbar.
-
Berechtigungen können fehlen. Beispielsweise ist der JobTracker Daemon möglicherweise nicht berechtigt, Job-Tracker-Informationen zu erstellen.
-
Die Einstellung für den reservierten Speicherplatz für eine DataNode Instanz ist möglicherweise unzureichend. Stellen Sie fest, ob dies der Fall ist, indem Sie die Konfigurationseinstellung dfs.datanode.du.reserved prüfen.
Um zu überprüfen, ob dieses Problem dadurch verursacht wird, dass HDFS nicht mehr genügend Speicherplatz zur Verfügung hat, sehen Sie sich die HDFSUtilization Metrik unter an. CloudWatch Wenn dieser Wert zu hoch ist, können Sie zusätzliche Core-Knoten zum Cluster hinzufügen. Wenn Sie einen Cluster haben, von dem Sie glauben, dass der HDFS-Speicherplatz knapp wird, können Sie einen Alarm einrichten, der Sie warnt, wenn der Wert von über einen bestimmten Wert HDFSUtilization steigt. CloudWatch Weitere Informationen erhalten Sie unter Manuelles Ändern der Größe eines laufenden Amazon EMR-Clusters und Überwachung von Amazon EMR-Metriken mit CloudWatch.
Wenn der HDFS-Speicherplatz nicht das Problem war, überprüfen Sie die Protokolle, die DataNode NameNode Protokolle und die Netzwerkkonnektivität auf andere Probleme, die HDFS daran gehindert haben könnten, Daten zu replizieren. Weitere Informationen finden Sie unter Amazon EMR-Protokolldateien anzeigen.
