Fehlerhafte Knoten durch Amazon ersetzen EMR - Amazon EMR
Standardeinstellungen für den Austausch von Knoten und den KündigungsschutzKonfiguration des Austauschs fehlerhafter Knoten beim Start eines ClustersKonfiguration eines fehlerhaften Knotenaustauschs in einem laufenden Cluster

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Fehlerhafte Knoten durch Amazon ersetzen EMR

Amazon verwendet EMR regelmäßig den NodeManager Health Checker-Service in Apache Hadoop, um den Status der Kernknoten in Ihren Amazon EMR on Amazon-Clustern zu überwachen. EC2 Wenn ein Knoten nicht optimal funktioniert, meldet der Health Checker diesen Knoten an den EMR Amazon-Controller. Der EMR Amazon-Controller fügt den Knoten einer Denylist hinzu und verhindert so, dass der Knoten neue YARN Anwendungen empfängt, bis sich der Status des Knotens verbessert. Ein häufiger Grund dafür, dass ein Knoten fehlerhaft wird, ist die Überlastung der Festplatte. Weitere Informationen zur Identifizierung fehlerhafter Knoten und zur Wiederherstellung finden Sie unter Ressourcenfehler.

Sie können wählen, ob Amazon EMR fehlerhafte Knoten beenden oder sie im Cluster belassen soll. Wenn Sie den Austausch fehlerhafter Knoten deaktivieren, bleiben die fehlerhaften Knoten in der Denylist und werden weiterhin zur Clusterkapazität gezählt. Sie können zur Konfiguration und Wiederherstellung weiterhin eine Verbindung zu Ihrer Amazon EC2 Core-Instance herstellen, sodass Sie die Größe Ihres Clusters ändern können, um Kapazität zu erhöhen. Beachten Sie, EMR dass Amazon fehlerhafte Knoten ersetzt, auch wenn der Kündigungsschutz aktiviert ist.

Wenn der Austausch fehlerhafter Knoten aktiviert ist, beendet Amazon den EMR fehlerhaften Kernknoten und stellt eine neue Instance bereit, die auf der Anzahl der Instances in der Instance-Gruppe oder der Zielkapazität für Instance-Flotten basiert. Wenn mehrere oder alle Kernknoten länger als 45 Minuten fehlerhaft sind, ersetzt Amazon EMR die Knoten ordnungsgemäß.

Wichtig

Um zu vermeiden, dass HDFS Daten dauerhaft verloren gehen, wenn Amazon EMR eine fehlerhafte Core-Instance ordnungsgemäß ersetzt, empfehlen wir, dass Sie Ihre Daten immer sichern.

Amazon EMR veröffentlicht Amazon CloudWatch Events für den Austausch fehlerhafter Knoten, sodass Sie verfolgen können, was mit Ihren fehlerhaften Core-Instances passiert. Weitere Informationen finden Sie unter Ereignisse beim Austausch fehlerhafter Knoten.

Standardeinstellungen für den Austausch von Knoten und den Kündigungsschutz

Unhealthy Node Replacement ist für alle EMR Amazon-Releases verfügbar, aber die Standardeinstellungen hängen von der von Ihnen gewählten Release-Bezeichnung ab. Sie können jede dieser Einstellungen ändern, indem Sie beim Erstellen eines neuen Clusters den Austausch fehlerhafter Knoten konfigurieren oder indem Sie jederzeit zur Cluster-Konfiguration wechseln.

Wenn Sie einen Einzelknoten-Cluster oder einen Hochverfügbarkeitscluster erstellen, auf dem Amazon EMR Version 7.0 oder niedriger ausgeführt wird, hängt die Standardeinstellung für den Austausch fehlerhafter Knoten vom Kündigungsschutz ab:

  • Durch die Aktivierung des Kündigungsschutzes wird der Austausch fehlerhafter Knoten deaktiviert.

  • Durch die Deaktivierung des Terminierungsschutzes wird der Austausch fehlerhafter Knoten ermöglicht.

Konfiguration des Austauschs fehlerhafter Knoten beim Start eines Clusters

Sie können den Austausch fehlerhafter Knoten aktivieren oder deaktivieren, wenn Sie einen Cluster mit der Konsole AWS CLI, dem oder dem starten. API

Die Standardeinstellung für den Austausch fehlerhafter Knoten hängt davon ab, wie Sie den Cluster starten:

  • EMRAmazon-Konsole — Der Austausch fehlerhafter Knoten ist standardmäßig aktiviert.

  • AWS CLI aws emr create-cluster— Der Austausch fehlerhafter Knoten ist standardmäßig aktiviert, sofern Sie nichts anderes angeben. --no-unhealthy-node-replacement

  • EMRRunJobFlow APIAmazon-Befehl — Austausch ungesunder Knoten ist standardmäßig aktiviert, sofern Sie den UnhealthyNodeReplacement booleschen Wert nicht auf oder setzen. True False

Console
Um den Austausch fehlerhafter Knoten ein oder aus zu schalten, wenn Sie mit der Konsole einen Cluster erstellen

  1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die EMR Amazon-Konsole unter https://console.aws.amazon.com/emr.

  2. Wählen Sie EC2 im linken Navigationsbereich unter EMRon die Option Clusters und anschließend Create cluster aus.

  3. Wählen Sie für die EMRRelease-Version das gewünschte EMR Amazon-Release-Label aus.

  4. Vergewissern Sie sich, dass unter Clusterbeendigung und Austausch von Knoten die Option Austausch fehlerhafter Knoten (empfohlen) vorausgewählt ist, oder löschen Sie die Auswahl, um sie auszuschalten.

  5. Wählen Sie alle anderen Optionen aus, die für Ihren Cluster gelten.

  6. Um Ihren Cluster jetzt zu starten, wählen Sie Cluster erstellen aus.

AWS CLI
Um den Austausch fehlerhafter Knoten zu aktivieren oder zu deaktivieren, wenn Sie einen Cluster mit dem AWS CLI

  • Mit dem können Sie einen Cluster starten AWS CLI, bei dem der Austausch fehlerhafter Knoten mit dem create-cluster Befehl mit dem --unhealthy-node-replacement Parameter aktiviert ist. Der Austausch fehlerhafter Knoten ist standardmäßig aktiviert.

    Im folgenden Beispiel wird ein Cluster erstellt, bei dem der Austausch fehlerhafter Knoten aktiviert ist:

    Anmerkung

    Linux-Zeilenfortsetzungszeichen (\) sind aus Gründen der Lesbarkeit enthalten. Sie können entfernt oder in Linux-Befehlen verwendet werden. Entfernen Sie sie unter Windows oder ersetzen Sie sie durch ein Caret-Zeichen (^).

    aws emr create-cluster --name "SampleCluster" --release-label emr-7.3.0 \
--applications Name=Hadoop Name=Hive Name=Pig \
--use-default-roles --ec2-attributes KeyName=myKey --instance-type m5.xlarge \
--instance-count 3 --unhealthy-node-replacement

    Weitere Informationen zur Verwendung von EMR Amazon-Befehlen finden Sie unter EMR AWS CLI Amazon-Befehle. AWS CLI

Konfiguration eines fehlerhaften Knotenaustauschs in einem laufenden Cluster

Sie können den Austausch fehlerhafter Knoten für einen laufenden Cluster mithilfe der Konsole, der oder der ein- oder ausschalten. AWS CLI API

Console
Um den Austausch fehlerhafter Knoten für einen laufenden Cluster mit der Konsole ein- oder auszuschalten

  1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die EMR Amazon-Konsole unter https://console.aws.amazon.com/emr.

  2. Wählen Sie EC2 im linken Navigationsbereich unter EMRon die Option Clusters und dann den Cluster aus, den Sie aktualisieren möchten.

  3. Suchen Sie auf der Cluster-Detailseite auf der Registerkarte Eigenschaften nach Clusterbeendigung und Knotenersatz und wählen Sie Bearbeiten aus.

  4. Aktivieren oder deaktivieren Sie das Kontrollkästchen für fehlerhaften Knotenaustausch, um die Funktion ein- oder auszuschalten. Wählen Sie dann zur Bestätigung Änderungen speichern aus.

AWS CLI
Um den Austausch fehlerhafter Knoten für einen laufenden Cluster ein- oder auszuschalten, verwenden Sie AWS CLI

  • Um den Austausch fehlerhafter Knoten in einem laufenden Cluster mit dem zu aktivieren AWS CLI, verwenden Sie den modify-cluster-attributes Befehl mit dem --unhealthy-node-replacement Parameter. Um ihn zu deaktivieren, verwenden Sie den Parameter --no-unhealthy-node-replacement.

    Im folgenden Beispiel wird der Austausch fehlerhafter Knoten auf dem Cluster mit der ID aktiviert j-3KVTXXXXXX7UG:

    aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --unhealthy-node-replacement

    Im folgenden Beispiel wird der Austausch fehlerhafter Knoten auf demselben Cluster deaktiviert:

    aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --no-unhealthy-node-replacement