Erste Schritte mit EMR Serverless von der Konsole aus

Um einen Spark-Job auszuführen

1. Laden Sie das wordcount.py Beispielskript mit dem folgenden Befehl in Ihren neuen Bucket hoch.

   aws s3 cp s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py s3://amzn-s3-demo-bucket/scripts/

2. Wenn Sie den Vorgang abschließen, Schritt 1: Erstellen Sie eine EMR serverlose Anwendung gelangen Sie zur Seite mit den Anwendungsdetails in EMR Studio. Wählen Sie dort die Option Job einreichen.

3. Gehen Sie auf der Seite „Job einreichen“ wie folgt vor.

   • Geben Sie im Feld Name den Namen ein, den Sie Ihren Job Run nennen möchten.

   • Geben Sie im Feld Runtime-Rolle den Namen der Rolle ein, in der Sie sie erstellt habenErstellen Sie eine Job-Runtime-Rolle.

   • Geben Sie im Feld Skriptspeicherort den s3://amzn-s3-demo-bucket/scripts/wordcount.py Wert S3 einURI.

   • Geben Sie im Feld Skriptargumente den Wert ein["s3://amzn-s3-demo-bucket/emr-serverless-spark/output"].

   • Wählen Sie im Bereich Spark-Eigenschaften die Option Als Text bearbeiten aus und geben Sie die folgenden Konfigurationen ein.

     --conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1

4. Um den Job-Lauf zu starten, wählen Sie Job einreichen.

5. Auf der Registerkarte „Auftragsausführungen“ sollten Sie sehen, dass Ihr neuer Job mit dem Status „Wird ausgeführt“ ausgeführt wird.

Um einen Hive-Job auszuführen

1. Erstellen Sie eine Datei mit dem Namenhive-query.ql, die alle Abfragen enthält, die Sie in Ihrem Hive-Job ausführen möchten.

   create database if not exists emrserverless;
   use emrserverless;
   create table if not exists test_table(id int);
   drop table if exists Values__Tmp__Table__1;
   insert into test_table values (1),(2),(2),(3),(3),(3);
   select id, count(id) from test_table group by id order by id desc;

2. Laden Sie hive-query.ql es mit dem folgenden Befehl in Ihren S3-Bucket hoch.

   aws s3 cp hive-query.ql s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql

3. Wenn Sie den Vorgang abschließen, Schritt 1: Erstellen Sie eine EMR serverlose Anwendung gelangen Sie zur Seite mit den Anwendungsdetails in EMR Studio. Wählen Sie dort die Option Job einreichen.

4. Gehen Sie auf der Seite „Job einreichen“ wie folgt vor.

   • Geben Sie im Feld Name den Namen ein, den Sie Ihren Job Run nennen möchten.

   • Geben Sie im Feld Runtime-Rolle den Namen der Rolle ein, in der Sie sie erstellt habenErstellen Sie eine Job-Runtime-Rolle.

   • Geben Sie im Feld Skriptspeicherort den s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql Wert S3 einURI.

   • Wählen Sie im Bereich Hive-Eigenschaften die Option Als Text bearbeiten aus und geben Sie die folgenden Konfigurationen ein.

     --hiveconf hive.log.explain.output=false

   • Wählen Sie im Abschnitt Auftragskonfiguration die Option Bearbeiten als JSON aus und geben Sie Folgendes einJSON.

     {
        "applicationConfiguration": 
        [{
            "classification": "hive-site",
               "properties": {
                   "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
                   "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
                   "hive.driver.cores": "2",
                   "hive.driver.memory": "4g",
                   "hive.tez.container.size": "4096",
                   "hive.tez.cpu.vcores": "1"
                }
         }]
     }

5. Um die Auftragsausführung zu starten, wählen Sie Job einreichen.

6. Auf der Registerkarte „Auftragsausführungen“ sollten Sie sehen, dass Ihr neuer Job mit dem Status „Wird ausgeführt“ ausgeführt wird.

1. Navigieren Sie in EMR Studio zur Registerkarte Arbeitsbereiche. Wenn Sie noch einen Amazon S3 S3-Speicherort und eine EMRStudio-Servicerolle konfigurieren müssen, wählen Sie im Banner oben auf dem Bildschirm die Schaltfläche Studio konfigurieren.

2. Um auf ein Notizbuch zuzugreifen, wählen Sie einen Workspace aus oder erstellen Sie einen neuen Workspace. Verwenden Sie den Schnellstart, um Ihren Workspace in einem neuen Tab zu öffnen.

3. Gehe zum neu geöffneten Tab. Wählen Sie in der linken Navigationsleiste das Compute-Symbol aus. Wählen Sie EMR Serverless als Compute-Typ aus.

4. Wählen Sie die interaktive Anwendung aus, die Sie im vorherigen Abschnitt erstellt haben.

5. Geben Sie im Feld Runtime-Rolle den Namen der IAM Rolle ein, die Ihre EMR Serverless-Anwendung für die Jobausführung übernehmen kann. Weitere Informationen zu Runtime-Rollen finden Sie unter Job Runtime Roles im Amazon EMR Serverless User Guide.

6. Wählen Sie Anhängen aus. Dies kann bis zu einer Minute dauern. Die Seite wird aktualisiert, wenn sie angehängt ist.

7. Wählen Sie einen Kernel und starten Sie ein Notizbuch. Sie können auch Beispiel-Notebooks auf EMR Serverless durchsuchen und sie in Ihren Workspace kopieren. Um auf die Beispielnotizbücher zuzugreifen, navigieren Sie zum {...}Menü in der linken Navigationsleiste und suchen Sie nach Notizbüchern, die serverless im Notizbuch den Dateinamen haben.

8. Im Notizbuch können Sie auf den Link zum Treiberprotokoll und einen Link zur Apache Spark-Benutzeroberfläche zugreifen, einer Echtzeitschnittstelle, die Messwerte zur Überwachung Ihres Jobs bereitstellt. Weitere Informationen finden Sie unter Überwachung EMR serverloser Anwendungen und Jobs im Amazon EMR Serverless User Guide.