Soumission d'une étape JAR personnalisée - Amazon EMR
Soumettre une étape JAR personnalisée à l'aide de la consoleLancement d'un cluster et soumission d'une étape JAR personnalisée à l'aide du AWS CLIDépendances tierces

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Soumission d'une étape JAR personnalisée

Un fichier JAR personnalisé exécute un programme Java compilé que vous pouvez charger sur Amazon S3. Vous devez compiler le programme en fonction de la version d'Hadoop que vous voulez lancer, et soumettre une étape CUSTOM_JAR à votre cluster Amazon EMR. Pour plus d'informations sur la compilation d'un fichier JAR, consultez Créez des fichiers binaires à l'aide d'Amazon EMR.

Pour plus d'informations sur la création d'une MapReduce application Hadoop, consultez le MapReduce didacticiel de la documentation d'Apache Hadoop.

Cette section présente les principes de base de la soumission d'une étape JAR personnalisée dans Amazon EMR. La soumission d'une étape JAR personnalisée vous permet d'écrire un script pour traiter vos données à l'aide du langage de programmation Java.

Soumettre une étape JAR personnalisée à l'aide de la console

Cet exemple décrit comment utiliser la console Amazon EMR pour soumettre une étape JAR personnalisée à un cluster en cours d'exécution.

Pour soumettre une étape JAR personnalisée à l'aide de la console

  1. Ouvrez la console Amazon EMR à l'adresse /emr. https://console.aws.amazon.com

  2. Dans la Liste de clusters, sélectionnez le nom de votre cluster.

  3. Faites défiler l'affichage jusqu'à la section Étapes et développez-la, puis choisissez Ajouter une étape.

  4. Dans la boîte de dialogue Ajouter une étape :

    • Pour Type d'étape, choisissez JAR personnalisé.

    • Pour Nom, acceptez le nom par défaut (JAR personnalisé) ou tapez un nouveau nom.

    • Pour JAR S3 location (Emplacement S3 JAR), tapez ou accédez à l'emplacement de votre fichier JAR. L'emplacement JAR peut-être un chemin dans S3 ou une classe Java entièrement qualifiée dans le classpath.

    • Pour Arguments, tapez les arguments requis sous forme de chaînes séparées par des espaces ou laissez le champ vide.

    • Pour Action sur échec, acceptez l'option par défaut (Continuer).

  5. Choisissez Ajouter. L'étape s'affiche dans la console avec le statut En suspens.

  6. Le statut de l'étape passe de Pending (En suspens) à Running (En cours d'exécution) puis à Completed (Terminé), au fur et à mesure de son exécution. Pour mettre à jour l'état, choisissez l'icône d'actualisation au-dessus de la colonne Actions.

Lancement d'un cluster et soumission d'une étape JAR personnalisée à l'aide du AWS CLI

Pour lancer un cluster et soumettre une étape JAR personnalisée à l'aide du AWS CLI

Pour lancer un cluster et soumettre une étape JAR personnalisée avec le AWS CLI, tapez la create-cluster sous-commande avec le --steps paramètre.

  • Pour lancer un cluster et soumettre une étape JAR personnalisée, tapez la commande suivante, myKey remplacez-la par le nom de votre paire de EC2 clés et amzn-s3-demo-bucket par le nom de votre bucket.

    aws emr create-cluster --name "Test cluster" --release-label emr-7.6.0 \
--applications Name=Hue Name=Hive Name=Pig --use-default-roles \
--ec2-attributes KeyName=myKey --instance-type m5.xlarge --instance-count 3 \
--steps Type=CUSTOM_JAR,Name="Custom JAR Step",ActionOnFailure=CONTINUE,Jar=pathtojarfile,Args=["pathtoinputdata","pathtooutputbucket","arg1","arg2"]
    Note

    Les caractères de continuation de ligne Linux (\) sont inclus pour des raisons de lisibilité. Ils peuvent être supprimés ou utilisés dans les commandes Linux. Pour Windows, supprimez-les ou remplacez-les par un caret (^).

    Lorsque vous spécifiez le nombre d'instances sans le paramètre --instance-groups, un seul nœud primaire est lancé et les instances restantes sont lancées en tant que nœuds principaux. Tous les nœuds utilisent le type d'instance que vous spécifiez dans la commande.

    Note

    Si vous n'avez pas encore créé le rôle de service Amazon EMR et le profil d'EC2 instance par défaut, tapez aws emr create-default-roles pour les créer avant de taper la create-cluster sous-commande.

    Pour plus d'informations sur l'utilisation des commandes Amazon EMR dans le AWS CLI, consultez. https://docs.aws.amazon.com/cli/latest/reference/emr

Dépendances tierces

Parfois, il peut être nécessaire de l'inclure dans le MapReduce chemin de classe JARs à utiliser avec votre programme. Vous avez deux options pour cela :

  • Incluez --libjars s3://URI_to_JAR dans les options de l'étape pour la procédure dans Lancement d'un cluster et soumission d'une étape JAR personnalisée à l'aide du AWS CLI.

  • Lancez le cluster avec un paramètre mapreduce.application.classpath modifié dans mapred-site.xml. Utilisez la classification de configuration mapred-site. Pour créer le cluster à l'aide de l'étape AWS CLI, cela ressemblerait à ce qui suit :

    aws emr create-cluster --release-label emr-7.6.0 \
--applications Name=Hue Name=Hive Name=Pig --use-default-roles \
--instance-type m5.xlarge --instance-count 2  --ec2-attributes KeyName=myKey \
--steps Type=CUSTOM_JAR,Name="Custom JAR Step",ActionOnFailure=CONTINUE,Jar=pathtojarfile,Args=["pathtoinputdata","pathtooutputbucket","arg1","arg2"] \
--configurations https://s3.amazonaws.com/amzn-s3-demo-bucket/myfolder/myConfig.json

    myConfig.json:

    [
    {
      "Classification": "mapred-site",
      "Properties": {
        "mapreduce.application.classpath": "path1,path2"
      }
    }
  ]

    La liste séparée par des virgules des chemins d'accès doit être ajoutée au chemin de classe pour la JVM de chaque tâche.