Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Soumission d'une étape JAR personnalisée
Un fichier JAR personnalisé exécute un programme Java compilé que vous pouvez charger sur Amazon S3. Vous devez compiler le programme en fonction de la version d'Hadoop que vous voulez lancer, et soumettre une étape CUSTOM_JAR
à votre cluster Amazon EMR. Pour plus d'informations sur la compilation d'un fichier JAR, consultez Créez des fichiers binaires à l'aide d'Amazon EMR.
Pour plus d'informations sur la création d'une MapReduce application Hadoop, consultez le MapReduce didacticiel
Cette section présente les principes de base de la soumission d'une étape JAR personnalisée dans Amazon EMR. La soumission d'une étape JAR personnalisée vous permet d'écrire un script pour traiter vos données à l'aide du langage de programmation Java.
Soumettre une étape JAR personnalisée à l'aide de la console
Cet exemple décrit comment utiliser la console Amazon EMR pour soumettre une étape JAR personnalisée à un cluster en cours d'exécution.
Pour soumettre une étape JAR personnalisée à l'aide de la console
Ouvrez la console Amazon EMR à l'adresse /emr. https://console.aws.amazon.com
-
Dans la Liste de clusters, sélectionnez le nom de votre cluster.
-
Faites défiler l'affichage jusqu'à la section Étapes et développez-la, puis choisissez Ajouter une étape.
-
Dans la boîte de dialogue Ajouter une étape :
-
Pour Type d'étape, choisissez JAR personnalisé.
-
Pour Nom, acceptez le nom par défaut (JAR personnalisé) ou tapez un nouveau nom.
-
Pour JAR S3 location (Emplacement S3 JAR), tapez ou accédez à l'emplacement de votre fichier JAR. L'emplacement JAR peut-être un chemin dans S3 ou une classe Java entièrement qualifiée dans le classpath.
-
Pour Arguments, tapez les arguments requis sous forme de chaînes séparées par des espaces ou laissez le champ vide.
-
Pour Action sur échec, acceptez l'option par défaut (Continuer).
-
-
Choisissez Ajouter. L'étape s'affiche dans la console avec le statut En suspens.
-
Le statut de l'étape passe de Pending (En suspens) à Running (En cours d'exécution) puis à Completed (Terminé), au fur et à mesure de son exécution. Pour mettre à jour l'état, choisissez l'icône d'actualisation au-dessus de la colonne Actions.
Lancement d'un cluster et soumission d'une étape JAR personnalisée à l'aide du AWS CLI
Pour lancer un cluster et soumettre une étape JAR personnalisée à l'aide du AWS CLI
Pour lancer un cluster et soumettre une étape JAR personnalisée avec le AWS CLI, tapez la create-cluster
sous-commande avec le --steps
paramètre.
-
Pour lancer un cluster et soumettre une étape JAR personnalisée, tapez la commande suivante,
myKey
remplacez-la par le nom de votre paire de EC2 clés etamzn-s3-demo-bucket
par le nom de votre bucket.aws emr create-cluster --name "
Test cluster
" --release-labelemr-7.6.0
\ --applications Name=Hue
Name=Hive
Name=Pig
--use-default-roles \ --ec2-attributes KeyName=myKey
--instance-typem5.xlarge
--instance-count3
\ --steps Type=CUSTOM_JAR
,Name="Custom JAR Step
",ActionOnFailure=CONTINUE
,Jar=pathtojarfile
,Args=["pathtoinputdata
","pathtooutputbucket
","arg1
","arg2
"]Note
Les caractères de continuation de ligne Linux (\) sont inclus pour des raisons de lisibilité. Ils peuvent être supprimés ou utilisés dans les commandes Linux. Pour Windows, supprimez-les ou remplacez-les par un caret (^).
Lorsque vous spécifiez le nombre d'instances sans le paramètre
--instance-groups
, un seul nœud primaire est lancé et les instances restantes sont lancées en tant que nœuds principaux. Tous les nœuds utilisent le type d'instance que vous spécifiez dans la commande.Note
Si vous n'avez pas encore créé le rôle de service Amazon EMR et le profil d'EC2 instance par défaut, tapez
aws emr create-default-roles
pour les créer avant de taper lacreate-cluster
sous-commande.Pour plus d'informations sur l'utilisation des commandes Amazon EMR dans le AWS CLI, consultez. https://docs.aws.amazon.com/cli/latest/reference/emr
Dépendances tierces
Parfois, il peut être nécessaire de l'inclure dans le MapReduce chemin de classe JARs à utiliser avec votre programme. Vous avez deux options pour cela :
-
Incluez
--libjars s3://
dans les options de l'étape pour la procédure dans Lancement d'un cluster et soumission d'une étape JAR personnalisée à l'aide du AWS CLI.URI_to_JAR
-
Lancez le cluster avec un paramètre
mapreduce.application.classpath
modifié dansmapred-site.xml
. Utilisez la classification de configurationmapred-site
. Pour créer le cluster à l'aide de l'étape AWS CLI, cela ressemblerait à ce qui suit :aws emr create-cluster --release-label
emr-7.6.0
\ --applications Name=Hue
Name=Hive
Name=Pig
--use-default-roles \ --instance-type m5.xlarge --instance-count 2 --ec2-attributes KeyName=myKey
\ --steps Type=CUSTOM_JAR
,Name="Custom JAR Step
",ActionOnFailure=CONTINUE
,Jar=pathtojarfile
,Args=["pathtoinputdata
","pathtooutputbucket
","arg1
","arg2
"] \ --configurations https://s3.amazonaws.com/amzn-s3-demo-bucket/myfolder/myConfig.jsonmyConfig.json
:[ { "Classification": "mapred-site", "Properties": { "mapreduce.application.classpath": "
path1
,path2
" } } ]La liste séparée par des virgules des chemins d'accès doit être ajoutée au chemin de classe pour la JVM de chaque tâche.