Apache Pig

Apache Pig est une bibliothèque Apache open source qui s'exécute au-dessus de Hadoop. Elle fournit un langage de script que vous pouvez utiliser pour transformer des ensembles de données volumineux, sans avoir à écrire de code complexe en langage informatique de niveau inférieur, comme Java. La bibliothèque prend des commandes de type SQL écrites dans un langage appelé Pig Latin et les convertit en tâches Tez basées sur des graphes acycliques dirigés (DAGs) ou des programmes. MapReduce Pig fonctionne avec des données structurées et non structurées dans différents formats. Pour plus d'informations sur Pig, consultez la page http://pig.apache.org/.

Vous pouvez exécuter les commandes Pig de façon interactive ou en mode de traitement par lots. Pour utiliser Pig de façon interactive, créez une connexion SSH vers le nœud maître et envoyez des commandes à l'aide du shell Grunt. Pour utiliser Pig en mode de traitement par lots, écrivez vos scripts Pig, chargez-les sur Amazon S3 et envoyez-les en tant qu'étapes du cluster. Pour plus d'informations sur la soumission d'un travail à un cluster, consultez Soumission de travail à un cluster dans le Guide de gestion d'Amazon EMR.

Lorsque vous utilisez Pig pour écrire une sortie dans une HCatalog table dans Amazon S3, désactivez l'écriture directe Amazon EMR en définissant les mapred.output.direct.EmrFileSystem propriétés mapred.output.direct.NativeS3FileSystem et sur. false Pour de plus amples informations, veuillez consulter En utilisant HCatalog. Dans un script Pig, vous pouvez utiliser les commandes SET mapred.output.direct.NativeS3FileSystem false et SET mapred.output.direct.EmrFileSystem false.

Le tableau suivant répertorie la version de Pig incluse dans la dernière version d’Amazon EMR série 7.x, ainsi que les composants qu’Amazon EMR installe avec Pig.

Pour la version des composants installés avec Pig dans cette version, voir Versions des composants de la version 7.8.0.

Le tableau suivant répertorie la version de Pig incluse dans la dernière version d'Amazon EMR série 6.x, ainsi que les composants qu'Amazon EMR installe avec Pig.

Pour connaître la version des composants installés avec Pig dans cette version, consultez les versions des composants de la version 6.15.0.

Le tableau suivant répertorie la version de Pig incluse dans la dernière version d'Amazon EMR série 5.x, ainsi que les composants qu'Amazon EMR installe avec Pig.

Pour la version des composants installés avec Pig dans cette version, voir la version 5.36.2 Versions des composants.