Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Konnektoren und Dienstprogramme
Amazon EMR bietet eine Reihe von Konnektoren und Hilfsprogrammen für den Zugriff auf andere AWS Dienste als Datenquellen. Sie können in der Regel auf Daten in diesen Services innerhalb eines Programms zugreifen. Sie können beispielsweise einen Kinesis-Stream in einer Hive-Abfrage, einem Pig-Skript oder einer MapReduce Anwendung angeben und dann mit diesen Daten arbeiten.
Themen
Aufräumen nach fehlgeschlagenen S3DistCp Aufträgen
Wenn einige oder alle angegebenen Dateien S3DistCp nicht kopiert werden können, schlägt der Befehl oder der Clusterschritt fehl und es wird ein Fehlercode ungleich Null zurückgegeben. In diesem Fall werden teilweise kopierte Dateien S3DistCp nicht bereinigt. Sie müssen sie manuell löschen.
Teilweise kopierte Dateien werden im tmp HDFS-Verzeichnis in Unterverzeichnissen mit der eindeutigen ID des S3DistCp Jobs gespeichert. Die ID finden Sie in der Standardausgabe der Aufgabe.
Beispielsweise können Sie für einen S3DistCp Job mit der ID 4b1c37bb-91af-4391-aaf8-46a6067085a6 eine Verbindung zum Master-Knoten des Clusters herstellen und den folgenden Befehl ausführen, um die mit dem Job verknüpften Ausgabedateien anzuzeigen.
hdfs dfs -ls /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output
Der Befehl gibt eine Liste von Dateien ähnlich der folgenden zurück:
Found 8 items -rw-r--r-- 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/_SUCCESS -rw-r--r-- 1 hadoop hadoop 0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00000 -rw-r--r-- 1 hadoop hadoop 0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00001 -rw-r--r-- 1 hadoop hadoop 0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00002 -rw-r--r-- 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00003 -rw-r--r-- 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00004 -rw-r--r-- 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00005 -rw-r--r-- 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00006
Sie können dann den folgenden Befehl ausführen, um das Verzeichnis und den gesamten Inhalt zu löschen.
hdfs dfs -rm -rf /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6
