Apache Pig

Apache Pig est une bibliothèque Apache open source qui s'exécute au-dessus de Hadoop. Elle fournit un langage de script que vous pouvez utiliser pour transformer des ensembles de données volumineux, sans avoir à écrire de code complexe en langage informatique de niveau inférieur, comme Java. La bibliothèque prend SQL des commandes similaires écrites dans un langage appelé Pig Latin et les convertit en tâches Tez basées sur des graphes acycliques dirigés (DAGs) ou des MapReduce programmes. Pig fonctionne avec des données structurées et non structurées dans différents formats. Pour plus d'informations sur Pig, consultez la page http://pig.apache.org/.

Vous pouvez exécuter les commandes Pig de façon interactive ou en mode de traitement par lots. Pour utiliser Pig de manière interactive, créez une SSH connexion au nœud principal et soumettez des commandes à l'aide du shell Grunt. Pour utiliser Pig en mode de traitement par lots, écrivez vos scripts Pig, chargez-les sur Amazon S3 et envoyez-les en tant qu'étapes du cluster. Pour plus d'informations sur la soumission d'un travail à un cluster, consultez Soumettre un travail à un cluster dans le Guide EMR de gestion Amazon.

Lorsque vous utilisez Pig pour écrire une sortie dans une HCatalog table dans Amazon S3, désactivez Amazon EMR Direct Write en définissant les mapred.output.direct.EmrFileSystem propriétés mapred.output.direct.NativeS3FileSystem et surfalse. Pour de plus amples informations, veuillez consulter En utilisant HCatalog. Dans un script Pig, vous pouvez utiliser les commandes SET mapred.output.direct.NativeS3FileSystem false et SET mapred.output.direct.EmrFileSystem false.

Le tableau suivant répertorie la version de Pig incluse dans la dernière version de la série Amazon EMR 7.x, ainsi que les composants qu'Amazon EMR installe avec Pig.

Pour la version des composants installés avec Pig dans cette version, voir Versions des composants de la version 7.3.0.

Le tableau suivant répertorie la version de Pig incluse dans la dernière version de la série Amazon EMR 6.x, ainsi que les composants qu'Amazon EMR installe avec Pig.

Pour connaître la version des composants installés avec Pig dans cette version, consultez les versions des composants de la version 6.15.0.

Le tableau suivant répertorie la version de Pig incluse dans la dernière version de la série Amazon EMR 5.x, ainsi que les composants qu'Amazon EMR installe avec Pig.

Pour la version des composants installés avec Pig dans cette version, voir la version 5.36.2 Versions des composants.