Guida introduttiva a EMR Serverless dalla console

Per eseguire un job Spark

1. Carica lo script di esempio wordcount.py nel tuo nuovo bucket con il seguente comando.

   aws s3 cp s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py s3://amzn-s3-demo-bucket/scripts/

2. Fase 1: Creare un'applicazione EMR serverlessIl completamento porta alla pagina dei dettagli dell'applicazione in EMR Studio. Qui, scegli l'opzione Invia lavoro.

3. Nella pagina Invia offerta di lavoro, completa quanto segue.

   • Nel campo Nome, inserisci il nome con cui vuoi chiamare il job run.

   • Nel campo Runtime role, inserisci il nome del ruolo in cui hai creatoCreare un ruolo Job Runtime.

   • Nel campo Posizione dello script, inserisci s3://amzn-s3-demo-bucket/scripts/wordcount.py come S3URI.

   • Nel campo Argomenti dello script, immettete["s3://amzn-s3-demo-bucket/emr-serverless-spark/output"].

   • Nella sezione delle proprietà di Spark, scegli Modifica come testo e inserisci le seguenti configurazioni.

     --conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1

4. Per avviare l'esecuzione del lavoro, scegli Invia lavoro.

5. Nella scheda Job run, dovresti vedere il tuo nuovo job eseguito con lo stato Running.

Per eseguire un job Hive

1. Crea un file chiamato hive-query.ql che contenga tutte le query che desideri eseguire nel tuo job Hive.

   create database if not exists emrserverless;
   use emrserverless;
   create table if not exists test_table(id int);
   drop table if exists Values__Tmp__Table__1;
   insert into test_table values (1),(2),(2),(3),(3),(3);
   select id, count(id) from test_table group by id order by id desc;

2. Carica hive-query.ql nel tuo bucket S3 con il seguente comando.

   aws s3 cp hive-query.ql s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql

3. Fase 1: Creare un'applicazione EMR serverlessIl completamento porta alla pagina dei dettagli dell'applicazione in EMR Studio. Qui, scegli l'opzione Invia lavoro.

4. Nella pagina Invia offerta di lavoro, completa quanto segue.

   • Nel campo Nome, inserisci il nome con cui vuoi chiamare il job run.

   • Nel campo Runtime role, inserisci il nome del ruolo in cui hai creatoCreare un ruolo Job Runtime.

   • Nel campo Posizione dello script, inserisci s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql come S3URI.

   • Nella sezione delle proprietà di Hive, scegli Modifica come testo e inserisci le seguenti configurazioni.

     --hiveconf hive.log.explain.output=false

   • Nella sezione Configurazione Job, scegli Modifica come JSON e inserisci quanto segueJSON.

     {
        "applicationConfiguration": 
        [{
            "classification": "hive-site",
               "properties": {
                   "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
                   "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
                   "hive.driver.cores": "2",
                   "hive.driver.memory": "4g",
                   "hive.tez.container.size": "4096",
                   "hive.tez.cpu.vcores": "1"
                }
         }]
     }

5. Per avviare l'esecuzione del lavoro, scegli Invia lavoro.

6. Nella scheda Job run, dovresti vedere il tuo nuovo job eseguito con lo stato Running.

1. Passa alla scheda Workspaces in EMR Studio. Se devi ancora configurare una posizione di archiviazione di Amazon S3 e il ruolo del servizio EMR Studio, seleziona il pulsante Configura studio nel banner nella parte superiore dello schermo.

2. Per accedere a un notebook, seleziona un Workspace o crea un nuovo Workspace. Usa Avvio veloce per aprire il tuo spazio di lavoro in una nuova scheda.

3. Vai alla scheda appena aperta. Seleziona l'icona Compute dalla barra di navigazione a sinistra. Seleziona EMR Serverless come tipo di elaborazione.

4. Seleziona l'applicazione interattiva che hai creato nella sezione precedente.

5. Nel campo Runtime role, inserisci il nome del IAM ruolo che l'applicazione EMR Serverless può assumere per l'esecuzione del job. Per ulteriori informazioni sui ruoli di runtime, consulta Job runtime roles nella Amazon EMR Serverless User Guide.

6. Seleziona Allega. Questa operazione potrebbe richiedere fino a un minuto. La pagina verrà aggiornata una volta allegata.

7. Scegliete un kernel e avviate un notebook. Puoi anche sfogliare taccuini di esempio su EMR Serverless e copiarli nel tuo Workspace. Per accedere ai taccuini di esempio, accedi al {...}menu nella barra di navigazione a sinistra e sfoglia i taccuini che contengono il nome del file del taccuino. serverless

8. Nel notebook, puoi accedere al collegamento al registro dei driver e a un collegamento all'interfaccia utente di Apache Spark, un'interfaccia in tempo reale che fornisce metriche per monitorare il tuo lavoro. Per ulteriori informazioni, consulta Monitoring EMR Serverless Applications and Job nella Amazon EMR Serverless User Guide.