Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Amazon EMR-Clusterfehler: HDFS-Replikationsfaktorfehler
Wenn Sie einen Core-Node aus einer Core-Instance-Gruppe oder Instance-Flotte entfernen, tritt bei Amazon EMR möglicherweise ein HDFS-Replikationsfehler auf. Dieser Fehler tritt auf, wenn Sie Kernknoten entfernen und die Anzahl der Kernknoten den konfigurierten dfs.replication-Faktor für das Hadoop Distributed File System (HDFS) unterschreitet. Daher kann Amazon EMR den Vorgang nicht sicher ausführen. Um den Standardwert der Konfiguration zu ermitteln, verwenden Sie die dfs.replication HDFS-Konfiguration.
Mögliche Ursachen
Im Folgenden finden Sie die möglichen Ursachen für einen HDFS-Replikationsfaktorfehler:
-
Wenn Sie die Größe einer Core-Instance-Gruppe oder Instance-Flotte manuell unter den konfigurierten
dfs.replicationFaktor ändern. -
Ihre Richtlinien für verwaltete Skalierung oder automatische Skalierung ermöglichen möglicherweise eine Skalierung, um die Anzahl der Kernknoten unter den Schwellenwert von zu reduzieren.
dfs.replication -
Dieser Fehler kann auch auftreten, wenn Amazon EMR versucht, einen fehlerhaften Kernknoten zu ersetzen, obwohl ein Cluster die Mindestanzahl an Kernknoten hat, die durch definiert ist.
dfs.replication
Lösungen und bewährte Methoden
Lösungen und bewährte Methoden finden Sie im Folgenden:
-
Wenn Sie die Größe eines Amazon EMR-Clusters manuell ändern, sollten Sie die Größe nicht unter den Wert verkleinern,
dfs.replicationda Amazon EMR die Größenänderung nicht sicher abschließen kann. -
Wenn Sie verwaltete Skalierung oder automatische Skalierung verwenden, stellen Sie sicher, dass die Mindestkapazität Ihres Clusters nicht unter dem Faktor liegt.
dfs.replication -
Die Anzahl der Core-Instances sollte mindestens
dfs.replicationplus eine sein. Dadurch wird sichergestellt, dass Amazon EMR einen fehlerhaften Core-Node erfolgreich ersetzen kann, wenn Sie den fehlerhaften Kernaustausch aktiviert haben.
Wichtig
Der Ausfall eines einzelnen Kernknotens kann zu HDFS-Datenverlust führen, wenn Sie den Wert auf 1 setzen. dfs.replication Wenn Ihr Cluster über HDFS-Speicher verfügt, empfehlen wir, den Cluster mit mindestens vier Kernknoten für Produktionsworkloads zu konfigurieren, um Datenverluste zu vermeiden, und den dfs.replication Faktor außerdem auf mindestens 2 festzulegen.
