Erkennung und Verarbeitung komprimierter Dateien mit Amazon EMR - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erkennung und Verarbeitung komprimierter Dateien mit Amazon EMR

Hadoop überprüft die Dateierweiterung zur Erkennung von komprimierten Dateien. Die von Hadoop unterstützten Komprimierungstypen sind: gzip, bzip2 und. LZO Sie müssen keine zusätzlichen Schritte ausführen, um Dateien dieser Komprimierungstypen zu extrahieren, da Hadoop diesen Vorgang für Sie erledigt.

Um LZO Dateien zu indizieren, können Sie die Hadoop-Lzo-Bibliothek verwenden, die von hadoop-lzo heruntergeladen werden kann. https://github.com/kevinweil/ Beachten Sie, dass Amazon EMR keine Entwicklerunterstützung bei der Verwendung dieses Tools anbietet, da es sich um eine Bibliothek eines Drittanbieters handelt. Informationen zur Nutzung finden Sie in der Readme-Datei für hadoop-lzo.