콘솔에서 Amazon Redshift Serverless 시작하기

Spark 작업을 실행하는 방법

1. 다음 명령을 사용하여 샘플 스크립트 wordcount.py를 새 버킷에 업로드합니다.

   aws s3 cp s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py s3://amzn-s3-demo-bucket/scripts/

2. 1단계: EMR Serverless 애플리케이션 생성을 완료하면 EMR Studio의 애플리케이션 세부 정보 페이지로 이동합니다. 여기서 작업 제출 옵션을 선택합니다.

3. 작업 제출 페이지에서 다음을 완료합니다.

   • 이름 필드에 작업 실행을 직접 호출하려는 이름을 입력합니다.

   • 런타임 역할 필드에 작업 런타임 역할 생성에서 생성한 역할의 이름을 입력합니다.

   • 스크립트 위치 필드에 s3://amzn-s3-demo-bucket/scripts/wordcount.py를 S3 URI로 입력합니다.

   • 스크립트 인수 필드에 ["s3://amzn-s3-demo-bucket/emr-serverless-spark/output"]을 입력합니다.

   • Spark 속성 섹션에서 텍스트로 편집을 선택하고 다음 구성을 입력합니다.

     --conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1

4. 작업 실행을 시작하려면 작업 제출을 선택합니다.

5. 작업 실행 탭에서 실행 중 상태의 새 작업 실행이 표시됩니다.

Hive 작업을 실행하는 방법

1. Hive 작업에서 실행하려는 모든 쿼리가 포함된 hive-query.ql 파일을 생성합니다.

   create database if not exists emrserverless;
   use emrserverless;
   create table if not exists test_table(id int);
   drop table if exists Values__Tmp__Table__1;
   insert into test_table values (1),(2),(2),(3),(3),(3);
   select id, count(id) from test_table group by id order by id desc;

2. 다음 명령을 사용하여 S3 버킷에 hive-query.ql을 업로드합니다.

   aws s3 cp hive-query.ql s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql

3. 1단계: EMR Serverless 애플리케이션 생성을 완료하면 EMR Studio의 애플리케이션 세부 정보 페이지로 이동합니다. 여기서 작업 제출 옵션을 선택합니다.

4. 작업 제출 페이지에서 다음을 완료합니다.

   • 이름 필드에 작업 실행을 직접 호출하려는 이름을 입력합니다.

   • 런타임 역할 필드에 작업 런타임 역할 생성에서 생성한 역할의 이름을 입력합니다.

   • 스크립트 위치 필드에 s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql를 S3 URI로 입력합니다.

   • Hive 속성 섹션에서 텍스트로 편집을 선택하고 다음 구성을 입력합니다.

     --hiveconf hive.log.explain.output=false

   • 작업 구성 섹션에서 JSON으로 편집을 선택하고 다음 JSON을 입력합니다.

     {
        "applicationConfiguration": 
        [{
            "classification": "hive-site",
               "properties": {
                   "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
                   "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
                   "hive.driver.cores": "2",
                   "hive.driver.memory": "4g",
                   "hive.tez.container.size": "4096",
                   "hive.tez.cpu.vcores": "1"
                }
         }]
     }

5. 작업 실행을 시작하려면 작업 제출을 선택합니다.

6. 작업 실행 탭에서 실행 중 상태의 새 작업 실행이 표시됩니다.

1. EMR Studio의 워크스페이스 탭으로 이동합니다. 그래도 Amazon S3 스토리지 위치 및 EMR Studio 서비스 역할을 구성해야 하는 경우 화면 상단의 배너에서 Studio 구성 버튼을 선택합니다.

2. 노트북에 액세스하려면 워크스페이스를 선택하거나 새 워크스페이스를 생성합니다. 빠른 시작을 사용하여 새 탭에서 워크스페이스를 엽니다.

3. 새로 열린 탭으로 이동합니다. 왼쪽 탐색 창에서 컴퓨팅 아이콘을 선택합니다. 컴퓨팅 유형으로 EMR Serverless를 선택합니다.

4. 이전 섹션에서 생성한 대화형 지원 애플리케이션을 선택합니다.

5. 런타임 역할 필드에 EMR Serverless 애플리케이션이 작업 실행을 위해 수임할 수 있는 IAM 역할의 이름을 입력합니다. 런타임 역할에 대한 자세한 내용은 Amazon EMR Serverless 사용 설명서에서 작업 런타임 역할을 참조하세요.

6. 연결을 선택합니다. 최대 1분이 걸릴 수 있습니다. 페이지가 연결되면 새로 고쳐집니다.

7. 커널을 선택하고 노트북을 시작합니다. EMR Serverless에서 예제 노트북을 찾아 워크스페이스에 복사할 수도 있습니다. 예제 노트북에 액세스하려면 왼쪽 탐색의 {...} 메뉴로 이동하여 노트북 파일 이름에 serverless가 있는 노트북을 탐색합니다.

8. 노트북에서 드라이버 로그 링크와 작업을 모니터링하는 지표를 제공하는 실시간 인터페이스인 Apache Spark UI에 대한 링크에 액세스할 수 있습니다. 자세한 내용은 Amazon EMR Serverless 사용 설명서의 EMR Serverless 애플리케이션 및 작업 모니터링을 참조하세요.