Détection et traitement de fichiers compressés avec Amazon EMR - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Détection et traitement de fichiers compressés avec Amazon EMR

Hadoop vérifie l'extension de fichier pour détecter les fichiers compressés. Les types de compression pris en charge par Hadoop sont les suivants : gzip, bzip2 et. LZO Vous n'avez pas besoin d'entreprendre d'action supplémentaire pour extraire les fichiers à l'aide de ces types de compression ; Hadoop s'en occupe pour vous.

Pour indexer LZO des fichiers, vous pouvez utiliser la bibliothèque hadoop-lzo qui peut être téléchargée depuis hadoop-lzo. https://github.com/kevinweil/ Notez qu'étant donné qu'il s'agit d'une bibliothèque tierce, Amazon EMR ne propose pas d'assistance aux développeurs sur l'utilisation de cet outil. Pour plus d'informations sur l'utilisation, consultez le fichier readme hadoop-lzo.