EMRAmazon-Protokolldateien anzeigen - Amazon EMR
Protokolldateien auf dem Primärknoten anzeigenIn Amazon S3 archivierte Protokolldateien anzeigen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

EMRAmazon-Protokolldateien anzeigen

Amazon EMR und Hadoop erstellen beide Protokolldateien, die den Status des Clusters melden. Standardmäßig werden diese Dateien im Primärknoten im /mnt/var/log/-Verzeichnis gespeichert. Abhängig von der Konfiguration Ihres Clusters beim Start können diese Protokolle auch in Amazon S3 archiviert und über das grafische Debugging-Tool angezeigt werden.

Es gibt viele Arten von Protokollen, die auf dem Primärknoten gespeichert werden. Amazon EMR schreibt Step-, Bootstrap-Action- und Instance-Status-Logs. Apache Hadoop erstellt Protokolle mit Daten zur Verarbeitung von Aufträgen, Aufgaben und versuchten Aufgaben. Hadoop protokolliert außerdem Protokolle seiner Daemons. Weitere Informationen zu den von Hadoop geschriebenen Protokollen finden Sie unter http://hadoop.apache. org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html.

Protokolldateien auf dem Primärknoten anzeigen

Die folgende Tabelle listet einige der Protokolldateien auf, die auf dem Primärknoten zu finden sind.

Ort Beschreibung

/emr/instance-controller/log/bootstrap-Aktionen

Protokolle, die bei der Verarbeitung von Bootstrap-Aktionen geschrieben werden.

/-state-pusher mnt/var/log/hadoop

Protokolle, die vom Hadoop-Status-Push-Prozess geschrieben werden.

/emr/instance-controller/log

Instance-Controller-Protokolle.

/emr/instance-state

instance-Statusprotokolle. Diese enthalten Informationen über den Speicherstatus und die CPU Garbage-Collector-Threads des Knotens.

/emr/service-nanny

Protokolle, die vom Service-Nanny-Prozess geschrieben werden.

/mnt/var/log/application

Protokolle, die sich auf eine bestimmte Anwendung beziehen, wie z. B. Hadoop, Spark oder Hive.

/mnt/var/log/hadoop/steps/N

Schrittprotokolle, die Informationen über die Verarbeitung des Schritts enthalten. Der Wert von N gibt den von Amazon stepId zugewiesenen Wert anEMR. Beispiel: Ein Cluster verfügt über zwei Schritte: s-1234ABCDEFGH und s-5678IJKLMNOP. Der erste Schritt befindet sich in /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ und der zweite in /mnt/var/log/hadoop/steps/s-5678IJKLMNOP/.

Die von Amazon geschriebenen Schrittprotokolle EMR lauten wie folgt.

  • controller – Informationen zur Verarbeitung des Schritts. Wenn Ihr Schritt beim Laden fehlschlägt, finden Sie den Stack-Trace in diesem Protokoll.

  • syslog – Beschreibt die Ausführung von Hadoop-Jobs in diesem Schritt.

  • stderr – Der Standardfehlerkanal von Hadoop bei der Verarbeitung des Schritts.

  • stdout – Der Standardausgabekanal von Hadoop während der Verarbeitung des Schritts.
So zeigen Sie Protokolldateien auf dem Primärknoten mit dem AWS CLI an.

  1. Verwenden Sie diese Option, SSH um eine Verbindung zum primären Knoten herzustellen, wie unter beschriebenConnect zum primären EMR Amazon-Cluster-Knoten her, indem Sie SSH.

  2. Navigieren Sie zu dem Verzeichnis mit den Protokolldateiinformationen, die Sie anzeigen möchten. Die oben stehenden Tabelle gibt eine Liste der verfügbaren Protokolldateien mit dem entsprechenden Speicherort an. Das folgende Beispiel zeigt den Befehl für die Navigation zum Schrittprotokoll mit einer ID, s-1234ABCDEFGH. 

    cd /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/

  3. Verwenden Sie einen Datei-Viewer Ihrer Wahl, um die Protokolldatei anzuzeigen. Im folgenden Beispiel wird der Linux-Befehl less verwendet, um die Protokolldatei controller anzuzeigen.

    less controller

In Amazon S3 archivierte Protokolldateien anzeigen

Standardmäßig archivieren EMR Amazon-Cluster, die über die Konsole gestartet werden, automatisch Protokolldateien in Amazon S3. Sie können einen eigenen Protokollpfad angeben, und zulassen, dass die Konsole automatisch einen Protokollpfad generiert. Für Cluster, die mit dem CLI oder gestartet wurdenAPI, müssen Sie die Amazon S3 S3-Protokollarchivierung manuell konfigurieren.

Wenn Amazon für die Archivierung von Protokolldateien in Amazon S3 konfiguriert EMR ist, speichert es die Dateien an dem von Ihnen angegebenen S3-Speicherort, im Ordner/cluster-id/, wo sich die Cluster-ID cluster-id befindet.

Die folgende Tabelle listet einige der Protokolldateien auf, die in Amazon S3 zu finden sind.

Ort Beschreibung

/cluster-id/node/

Knotenprotokolle, einschließlich Bootstrap-Aktion, Instance-Status und Anwendungsprotokollen für den Knoten. Die Protokolle für jeden Knoten werden in einem Ordner gespeichert, der mit der ID der EC2 Instanz dieses Knotens beschriftet ist.

/cluster-idinstance-id/node//application

Die Protokolle, die von einzelnen Anwendungen oder Daemons, die einer Anwendung zugeordnet sind, erstellt wurden. Das Hive-Server-Protokoll befindet sich beispielsweise im Verzeichnis cluster-id/node/instance-id/hive/hive-server.log.

//Schritte//cluster-idstep-id

Schrittprotokolle, die Informationen über die Verarbeitung des Schritts enthalten. Der Wert von step-id gibt die von Amazon zugewiesene Schritt-ID anEMR. Beispiel: Ein Cluster verfügt über zwei Schritte: s-1234ABCDEFGH und s-5678IJKLMNOP. Der erste Schritt befindet sich in /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ und der zweite in /mnt/var/log/hadoop/steps/s-5678IJKLMNOP/.

Die von Amazon geschriebenen Schrittprotokolle EMR lauten wie folgt.

  • controller – Informationen zur Verarbeitung des Schritts. Wenn Ihr Schritt beim Laden fehlschlägt, finden Sie den Stack-Trace in diesem Protokoll.

  • syslog – Beschreibt die Ausführung von Hadoop-Jobs in diesem Schritt.

  • stderr – Der Standardfehlerkanal von Hadoop bei der Verarbeitung des Schritts.

  • stdout – Der Standardausgabekanal von Hadoop während der Verarbeitung des Schritts.

/cluster-id/container

Anwendungscontainerprotokolle. Die Protokolle für jede YARN Anwendung werden an diesen Orten gespeichert.

/cluster-id/hadoop-mapreduce/

Die Protokolle, die Informationen über Konfigurationsdetails und den Jobverlauf von Jobs enthalten. MapReduce

So zeigen Sie Protokolldateien an, die mit der Amazon-S3-Konsole in Amazon S3 archiviert wurden

  1. Melden Sie sich bei der an AWS Management Console und öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/.

  2. Öffnen Sie den S3-Bucket, den Sie angegeben haben, als Sie den Cluster für die Archivierung von Protokolldateien in Amazon S3 konfiguriert haben.

  3. Navigieren Sie zu der Protokolldatei, die die Informationen enthält, die angezeigt werden sollen. Die oben stehenden Tabelle gibt eine Liste der verfügbaren Protokolldateien mit dem entsprechenden Speicherort an.

  4. Laden Sie das Protokolldateiobjekt herunter, um es anzuzeigen. Anweisungen finden Sie unter Objekt herunterladen.