Erste Schritte vom AWS CLI

Verwenden Sie den folgenden Befehl, um das Beispielskript, das wir ausführen werden, in Ihren neuen Bucket zu kopieren.

aws s3 cp s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py s3://amzn-s3-demo-bucket/scripts/

Geben Sie im folgenden Befehl Ihre Anwendungs-ID ein. application-id job-role-arnErsetzen Sie es durch die Runtime-Rolle, in der ARN Sie sie erstellt habenErstellen Sie eine Job-Runtime-Rolle. Ersetze job-run-name mit dem Namen, den Sie Ihren Job Run nennen möchten. Ersetzen Sie alle amzn-s3-demo-bucket Zeichenketten durch den Amazon S3 S3-Bucket, den Sie erstellt haben, und fügen Sie ihn dem Pfad /output hinzu. Dadurch wird ein neuer Ordner in Ihrem Bucket erstellt, in den EMR Serverless die Ausgabedateien Ihrer Anwendung kopieren kann.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --name job-run-name \
    --job-driver '{
        "sparkSubmit": {
          "entryPoint": "s3://amzn-s3-demo-bucket/scripts/wordcount.py",
          "entryPointArguments": ["s3://amzn-s3-demo-bucket/emr-serverless-spark/output"],
          "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }'

Notieren Sie sich die in der Ausgabe zurückgegebene Job-Run-ID. job-run-idErsetzen Sie sie in den folgenden Schritten durch diese ID.

Erstellen Sie eine Datei mit dem Namenhive-query.ql, die alle Abfragen enthält, die Sie in Ihrem Hive-Job ausführen möchten.

create database if not exists emrserverless;
use emrserverless;
create table if not exists test_table(id int);
drop table if exists Values__Tmp__Table__1;
insert into test_table values (1),(2),(2),(3),(3),(3);
select id, count(id) from test_table group by id order by id desc;

Laden Sie hive-query.ql es mit dem folgenden Befehl in Ihren S3-Bucket hoch.

aws s3 cp hive-query.ql s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql

Ersetzen Sie den Befehl im folgenden Befehl application-id durch Ihre eigene Anwendungs-ID. job-role-arnErsetzen Sie es durch die Runtime-Rolle, in der ARN Sie sie erstellt habenErstellen Sie eine Job-Runtime-Rolle. Ersetzen Sie alle amzn-s3-demo-bucket Zeichenketten durch den Amazon S3 S3-Bucket, den Sie erstellt haben, /output und fügen Sie /logs dem Pfad und hinzu. Dadurch werden neue Ordner in Ihrem Bucket erstellt, in die EMR Serverless die Ausgabe- und Protokolldateien Ihrer Anwendung kopieren kann.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "hive": {
          "query": "s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql",
          "parameters": "--hiveconf hive.log.explain.output=false"
        }
    }' \
    --configuration-overrides '{
      "applicationConfiguration": [{
        "classification": "hive-site",
          "properties": {
            "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
            "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
            "hive.driver.cores": "2",
            "hive.driver.memory": "4g",
            "hive.tez.container.size": "4096",
            "hive.tez.cpu.vcores": "1"
            }
        }],
        "monitoringConfiguration": {
          "s3MonitoringConfiguration": {
            "logUri": "s3://amzn-s3-demo-bucket/emr-serverless-hive/logs"
           }
        }
    }'

Notieren Sie sich die in der Ausgabe zurückgegebene Job-Run-ID. job-run-idErsetzen Sie sie in den folgenden Schritten durch diese ID.