AWS CLI에서 시작하기

다음 명령을 사용하여 새 버킷에 실행할 샘플 스크립트를 복사합니다.

aws s3 cp s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py s3://amzn-s3-demo-bucket/scripts/

다음 명령에서 application-id를 애플리케이션 ID로 대체합니다. job-role-arn을 작업 런타임 역할 생성에서 생성한 런타임 역할 ARN으로 대체합니다. job-run-name을 작업 실행을 직접 호출하려는 이름으로 바꿉니다. 모든 amzn-s3-demo-bucket 문자열을 사용자가 생성한 Amazon S3 버킷으로 바꾸고 경로에 /output을 추가합니다. 그러면 EMR Serverless에서 애플리케이션의 출력 파일을 복사할 수 있는 새 폴더가 버킷에 생성됩니다.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --name job-run-name \
    --job-driver '{
        "sparkSubmit": {
          "entryPoint": "s3://amzn-s3-demo-bucket/scripts/wordcount.py",
          "entryPointArguments": ["s3://amzn-s3-demo-bucket/emr-serverless-spark/output"],
          "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
        }
    }'

출력에서 반환된 작업 실행 ID를 기록합니다. 다음 단계에서 job-run-id를 이 ID로 바꿉니다.

Hive 작업에서 실행하려는 모든 쿼리가 포함된 hive-query.ql 파일을 생성합니다.

create database if not exists emrserverless;
use emrserverless;
create table if not exists test_table(id int);
drop table if exists Values__Tmp__Table__1;
insert into test_table values (1),(2),(2),(3),(3),(3);
select id, count(id) from test_table group by id order by id desc;

다음 명령을 사용하여 S3 버킷에 hive-query.ql을 업로드합니다.

aws s3 cp hive-query.ql s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql

다음 명령에서 application-id를 자체 애플리케이션 ID로 대체합니다. job-role-arn을 작업 런타임 역할 생성에서 생성한 런타임 역할 ARN으로 대체합니다. 모든 amzn-s3-demo-bucket 문자열을 사용자가 생성한 Amazon S3 버킷으로 바꾸고 경로에 /output 및 /logs를 추가합니다. 그러면 버킷에 새 폴더가 생성되고, 여기로 EMR Serverless에서 애플리케이션의 출력 및 로그 파일을 복사할 수 있습니다.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "hive": {
          "query": "s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql",
          "parameters": "--hiveconf hive.log.explain.output=false"
        }
    }' \
    --configuration-overrides '{
      "applicationConfiguration": [{
        "classification": "hive-site",
          "properties": {
            "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
            "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
            "hive.driver.cores": "2",
            "hive.driver.memory": "4g",
            "hive.tez.container.size": "4096",
            "hive.tez.cpu.vcores": "1"
            }
        }],
        "monitoringConfiguration": {
          "s3MonitoringConfiguration": {
            "logUri": "s3://amzn-s3-demo-bucket/emr-serverless-hive/logs"
           }
        }
    }'

출력에서 반환된 작업 실행 ID를 기록합니다. 다음 단계에서 job-run-id를 이 ID로 바꿉니다.