Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Welche Tools stehen für die Fehlerbehebung bei einem EMR Amazon-Cluster zur Verfügung?

Um Clusterfehler zu identifizieren und zu beheben, können Sie die auf dieser Seite beschriebenen Tools verwenden. Möglicherweise müssen Sie einige der Tools initialisieren, wenn Sie den Cluster starten. Andere Tools sind standardmäßig für jeden Cluster verfügbar.

EMRCluster-Details anzeigen

Sie können das AWS Management Console, oder verwenden AWS CLI, EMR API um detaillierte Informationen über einen EMR Cluster und die Auftragsausführung abzurufen. Weitere Hinweise zur Verwendung von AWS Management Console und AWS CLI finden Sie unterStatus und Details des EMR Amazon-Clusters anzeigen.

Detailbereich EMR der Amazon-Konsole

In der Clusterliste auf der EMR Amazon-Konsole finden Sie allgemeine Informationen zum Status der einzelnen Cluster in Ihrem Konto und AWS-Region. Die Liste zeigt alle aktiven und beendeten Cluster an, die Sie in den vergangenen zwei Monaten gestartet haben. Sie können in der Liste Clusters (Cluster) den Name (Namen) eines Clusters auswählen, um Details zu diesem anzuzeigen. Diese Informationen sind in verschiedene Kategorien unterteilt, um das Navigieren zu vereinfachen.

Die auf der Cluster-Detailseite verfügbaren Anwendungsbenutzeroberflächen können bei der Fehlerbehebung bei Clustern hilfreich sein. Es bietet Informationen zum Status von YARN Anwendungen. Bei einigen Anwendungen, wie z. B. Spark-Anwendungen, können Sie sich verschiedene Kennzahlen und Facetten wie Jobs, Phasen und Ausführende genauer ansehen. Weitere Informationen finden Sie unter EMRAmazon-Anwendungsverlauf anzeigen. Diese Funktion ist nur für EMR Amazon-Versionen 5.8.0 und höher verfügbar.

EMRAmazon-Befehlszeilenschnittstelle

Sie können Details zu einem Cluster AWS CLI anhand des --describe Arguments finden.

Amazon EMR API

Einzelheiten zu einem Cluster finden Sie API unter Verwendung der DescribeJobFlows Aktion.

EMRCluster-Fehlerdetails anzeigen

Wenn ein EMR Cluster mit einem Fehler beendet wird, werden ein Fehlercode und eine Fehlermeldung ListClusters APIs zurückgegeben. DescribeCluster Bei ausgewählten Clusterfehlern kann Ihnen das ErrorDetail-Datenarray bei der Behebung des Fehlers helfen.

Eine Liste der Fehlercodes, die ErrorDetail Daten enthalten, finden Sie unter Fehlercodes mit ErrorDetail Informationen in Amazon EMR.

Skripts ausführen und EMR Amazon-Prozesse konfigurieren

Im Rahmen Ihrer Problembehandlung kann es hilfreich sein, benutzerdefinierte Skripts auf Ihrem Cluster auszuführen oder Clusterprozesse anzuzeigen und zu konfigurieren.

Anwendungsprozesse anzeigen und neu starten

Es kann hilfreich sein, sich die laufenden Prozesse auf Ihrem Cluster anzusehen, um potenzielle Probleme zu diagnostizieren. Sie können Clusterprozesse beenden und neu starten, indem Sie eine Verbindung zum Hauptknoten Ihres Clusters herstellen. Weitere Informationen finden Sie unter Amazon- EMR und Anwendungsprozesse (Daemons) anzeigen und neu starten.

Führen Sie Befehle und Skripts ohne SSH Verbindung aus

Um als Schritt einen Befehl oder ein Skript auf Ihrem Cluster auszuführen, können Sie die script-runner.jar Tools command-runner.jar oder verwenden, ohne eine SSH Verbindung zum Master-Knoten herzustellen. Weitere Informationen finden Sie unter Befehle und Skripts auf einem EMR Amazon-Cluster ausführen.

Anzeige von -Protokolldateien

Amazon EMR und Hadoop generieren beide Protokolldateien, während der Cluster ausgeführt wird. Sie können auf diese Protokolldateien mit mehreren Tools zugreifen, abhängig von der Konfiguration, die Sie beim Starten des Clusters angegeben haben. Weitere Informationen finden Sie unter Konfiguration der EMR Amazon-Cluster-Protokollierung und des Debuggings.

Protokolldateien auf dem Hauptknoten

Jeder Cluster veröffentlicht Protokolldateien im Verzeichnisthe /mnt/var/log/auf dem Master-Knoten. Diese Protokolldateien sind nur verfügbar, während der Cluster ausgeführt wird.

So archivieren Sie Protokolldateien in Amazon S3

Wenn Sie den Cluster starten und einen Amazon S3-Protokollpfad angeben, kopiert der Cluster die auf dem Master-Knoten gespeicherten in /mnt/var/log Protokolldateien in 5-Minuten-Intervallen nach Amazon S3. So wird sichergestellt, dass Sie Zugriff auf die Protokolldateien auch nach Beendigung des Clusters haben. Da die Dateien in 5-Minuten-Intervallen archiviert werden, stehen die letzten Minuten eines unvermittelt beendeten Clusters ggf. nicht zur Verfügung.

Überwachen Sie die EMR Cluster-Leistung

Amazon EMR bietet verschiedene Tools zur Überwachung der Leistung Ihres Clusters.

Hadoop-Webschnittstellen

Jeder Cluster veröffentlicht eine Reihe von Webschnittstellen auf dem Master-Knoten, die Informationen über den Cluster enthalten. Sie können auf diese Webseiten zugreifen, indem Sie sie über einen SSH Tunnel auf dem Master-Knoten verbinden. Weitere Informationen finden Sie unter Auf EMR Amazon-Clustern gehostete Weboberflächen anzeigen.

CloudWatch Metriken

Jeder Cluster meldet Metriken an CloudWatch. CloudWatch ist ein Webservice, der Metriken verfolgt und mit dem Sie Alarme für diese Metriken einrichten können. Weitere Informationen finden Sie unter Überwachung von EMR Amazon-Metriken mit CloudWatch.