AWS Data Pipeline ist für Neukunden nicht mehr verfügbar. Bestandskunden von AWS Data Pipeline können den Service weiterhin wie gewohnt nutzen. Weitere Informationen
Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Lokalisieren von Fehlerprotokollen
In diesem Abschnitt wird beschrieben, wie Sie die verschiedenen AWS Data Pipeline-Protokolle lokalisieren, die zur Ermittlung der Ursachen bestimmter Fehler und Probleme verwendet werden können.
Pipeline-Protokolle
Es wird empfohlen, Pipelines so zu konfigurieren, dass Protokolldateien an einem persistenten Speicherort erstellt werden, wie im folgenden Beispiel, in dem Sie das pipelineLogUri Feld im Default Objekt einer Pipeline verwenden, damit alle Pipeline-Komponenten standardmäßig einen Amazon S3-Protokollspeicherort verwenden (Sie können dies überschreiben, indem Sie einen Protokollspeicherort in einer bestimmten Pipeline-Komponente konfigurieren).
Anmerkung
Task Runner speichert seine Protokolle standardmäßig an einem anderen Ort, der möglicherweise nicht verfügbar ist, wenn die Pipeline abgeschlossen ist und die Instanz, auf der Task Runner ausgeführt wird, beendet wird. Weitere Informationen finden Sie unter Die Task Runner-Protokollierung wird überprüft.
Um den Protokollspeicherort über die AWS Data Pipeline-CLI in der JSON-Datei einer Pipeline festlegen, fügen Sie am Anfang der Datei folgenden Code ein:
{ "objects": [ { "id":"Default", "pipelineLogUri":"s3://mys3bucket/error_logs" }, ...
Nachdem Sie ein Pipeline-Protokollverzeichnis konfiguriert haben, erstellt Task Runner eine Kopie der Protokolle in Ihrem Verzeichnis mit derselben Formatierung und denselben Dateinamen, die im vorherigen Abschnitt über Task Runner-Protokolle beschrieben wurden.
Hadoop Job- und Amazon EMR-Schrittprotokolle
Bei jeder Hadoop-basierten Aktivität wieHadoopActivity,HiveActivity, oder PigActivity Sie können die Hadoop-Jobprotokolle an der im Laufzeitslot zurückgegebenen Position einsehen. hadoopJobLog EmrActivityverfügt über eigene Protokollierungsfunktionen und diese Protokolle werden an dem von Amazon EMR ausgewählten Ort gespeichert und vom Runtime-Slot zurückgegeben. emrStepLog Weitere Informationen finden Sie unter Logdateien anzeigen im Amazon EMR Developer Guide.
