Commencer à utiliser EMR Serverless depuis la console

Pour exécuter une tâche Spark

1. Téléchargez l'exemple de script wordcount.py dans votre nouveau compartiment à l'aide de la commande suivante.

   aws s3 cp s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py s3://amzn-s3-demo-bucket/scripts/

2. Si vous terminez, vous Étape 1 : Création d'une application EMR sans serveur accédez à la page des détails de l'application dans EMR Studio. À cet endroit, choisissez l'option Soumettre le travail.

3. Sur la page Soumettre une tâche, effectuez les opérations suivantes.

   • Dans le champ Nom, entrez le nom que vous souhaitez appeler votre tâche exécutée.

   • Dans le champ Rôle d'exécution, entrez le nom du rôle que vous avez créé dansCréation d'un rôle d'exécution de tâches.

   • Dans le champ Emplacement du scripts3://amzn-s3-demo-bucket/scripts/wordcount.py, saisissez S3URI.

   • Dans le champ Arguments du script, entrez["s3://amzn-s3-demo-bucket/emr-serverless-spark/output"].

   • Dans la section des propriétés de Spark, choisissez Modifier sous forme de texte et entrez les configurations suivantes.

     --conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1

4. Pour démarrer l'exécution de la tâche, choisissez Soumettre la tâche.

5. Dans l'onglet Exécutions de tâches, vous devriez voir votre nouvelle tâche exécutée avec le statut En cours d'exécution.

Pour exécuter une tâche Hive

1. Créez un fichier appelé hive-query.ql contenant toutes les requêtes que vous souhaitez exécuter dans votre tâche Hive.

   create database if not exists emrserverless;
   use emrserverless;
   create table if not exists test_table(id int);
   drop table if exists Values__Tmp__Table__1;
   insert into test_table values (1),(2),(2),(3),(3),(3);
   select id, count(id) from test_table group by id order by id desc;

2. hive-query.qlTéléchargez-le dans votre compartiment S3 à l'aide de la commande suivante.

   aws s3 cp hive-query.ql s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql

3. Si vous terminez, vous Étape 1 : Création d'une application EMR sans serveur accédez à la page des détails de l'application dans EMR Studio. À cet endroit, choisissez l'option Soumettre le travail.

4. Sur la page Soumettre une tâche, effectuez les opérations suivantes.

   • Dans le champ Nom, entrez le nom que vous souhaitez appeler votre tâche exécutée.

   • Dans le champ Rôle d'exécution, entrez le nom du rôle que vous avez créé dansCréation d'un rôle d'exécution de tâches.

   • Dans le champ Emplacement du scripts3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql, saisissez S3URI.

   • Dans la section Propriétés de la ruche, choisissez Modifier sous forme de texte et entrez les configurations suivantes.

     --hiveconf hive.log.explain.output=false

   • Dans la section Configuration du Job, choisissez Modifier sous JSON, puis entrez ce qui suitJSON.

     {
        "applicationConfiguration": 
        [{
            "classification": "hive-site",
               "properties": {
                   "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
                   "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
                   "hive.driver.cores": "2",
                   "hive.driver.memory": "4g",
                   "hive.tez.container.size": "4096",
                   "hive.tez.cpu.vcores": "1"
                }
         }]
     }

5. Pour démarrer l'exécution de la tâche, choisissez Soumettre la tâche.

6. Dans l'onglet Exécutions de tâches, vous devriez voir votre nouvelle tâche exécutée avec le statut En cours d'exécution.

1. Accédez à l'onglet Espaces de travail dans EMR Studio. Si vous devez toujours configurer un emplacement de stockage Amazon S3 et un rôle de service EMR Studio, sélectionnez le bouton Configurer le studio dans la bannière en haut de l'écran.

2. Pour accéder à un bloc-notes, sélectionnez un espace de travail ou créez-en un nouveau. Utilisez le lancement rapide pour ouvrir votre espace de travail dans un nouvel onglet.

3. Accédez à l'onglet qui vient d'être ouvert. Sélectionnez l'icône Calculer dans le menu de navigation de gauche. Sélectionnez EMR Serverless comme type de calcul.

4. Sélectionnez l'application interactive que vous avez créée dans la section précédente.

5. Dans le champ Rôle d'exécution, entrez le nom du IAM rôle que votre application EMR Serverless peut assumer pour l'exécution de la tâche. Pour en savoir plus sur les rôles d'exécution, consultez la section Rôles d'exécution Job dans le guide de l'utilisateur Amazon EMR Serverless.

6. Sélectionnez Joindre. Cela peut prendre jusqu'à une minute. La page sera actualisée une fois jointe.

7. Choisissez un noyau et lancez un bloc-notes. Vous pouvez également consulter des exemples de blocs-notes sur EMR Serverless et les copier dans votre espace de travail. Pour accéder aux exemples de blocs-notes, accédez au {...}menu de navigation de gauche et parcourez les blocs-notes dont le nom de fichier est indiqué serverless dans le bloc-notes.

8. Dans le bloc-notes, vous pouvez accéder au lien du journal du pilote et à un lien vers l'interface utilisateur d'Apache Spark, une interface en temps réel qui fournit des indicateurs pour surveiller votre travail. Pour plus d'informations, consultez la section Surveillance des applications et des tâches EMR sans serveur dans le guide de l'utilisateur Amazon EMR Serverless.