EMR Serverless 이미지 사용자 지정

Amazon EMR 6.9.0부터 사용자 지정 이미지를 사용하여 Amazon EMR Serverless를 사용하여 애플리케이션 종속 항목과 런타임 환경을 단일 컨테이너로 패키징할 수 있습니다. 이 경우 워크로드 종속 항목을 관리하는 방법이 간소화되고 패키지 이식성이 개선됩니다. EMR Serverless 이미지를 사용자 지정하면 다음과 같은 이점이 있습니다.

EMR Serverless는 자체 이미지를 생성하는 경우 기본으로 사용할 수 있는 이미지를 제공합니다. 기본 이미지는 이미지가 EMR Serverless와 상호 작용하기 위한 필수 jar, 구성 및 라이브러리를 제공합니다. Amazon ECR 퍼블릭 갤러리에서 기본 이미지를 찾을 수 있습니다. 애플리케이션 유형(Spark 또는 Hive) 및 릴리스 버전과 일치하는 이미지를 사용합니다. 예를 들어 Amazon EMR 릴리스 6.9.0에서 애플리케이션을 생성하는 경우 다음 이미지를 사용합니다.

사전 조건

EMR Serverless 사용자 지정 이미지를 생성하기 전에 다음 사전 조건을 완료합니다.

1단계: EMR Serverless 기본 이미지에서 사용자 지정 이미지 생성

먼저 기본 이미지를 사용하는 FROM 명령으로 시작하는 Dockerfile을 생성합니다. FROM 명령 이후에 이미지에 적용하려는 수정 사항을 포함할 수 있습니다. 기본 이미지는 USER를 hadoop으로 자동 설정합니다. 이 설정에 포함된 모든 수정 사항에 대한 권한이 없을 수 있습니다. 해결 방법으로 USER를 root로 설정하고 이미지를 수정한 다음, USER를 hadoop:hadoop으로 다시 설정합니다. 일반적인 사용 사례에 대한 샘플을 보려면 EMR Serverless에서 사용자 지정 이미지 사용 섹션을 참조하세요.

# Dockerfile
FROM public.ecr.aws/emr-serverless/spark/emr-6.9.0:latest

USER root
# MODIFICATIONS GO HERE

# EMRS will run the image as hadoop
USER hadoop:hadoop

Dockerfile을 보유한 후 다음 명령을 사용하여 이미지를 빌드합니다.

# build the docker image
docker build . -t aws-account-id.dkr.ecr.region.amazonaws.com/my-repository[:tag]or[@digest]

2단계: 로컬에서 이미지 검증

EMR Serverless는 기본 파일, 환경 변수 및 올바른 이미지 구성을 검증하기 위해 사용자 지정 이미지를 정적으로 확인할 수 있는 오프라인 도구를 제공합니다. 도구를 설치하고 실행하는 방법에 대한 자세한 내용은 Amazon EMR Serverless Image CLI GitHub를 참조하세요.

도구를 설치한 후 다음 명령을 실행하여 이미지를 검증합니다.

amazon-emr-serverless-image \
validate-image -r emr-6.9.0 -t spark \
-i aws-account-id.dkr.ecr.region.amazonaws.com/my-repository:tag/@digest

다음과 비슷한 출력 화면이 표시됩니다.

Amazon EMR Serverless - Image CLI
Version: 0.0.1
... Checking if docker cli is installed
... Checking Image Manifest
[INFO] Image ID: 9e2f4359cf5beb466a8a2ed047ab61c9d37786c555655fc122272758f761b41a
[INFO] Created On: 2022-12-02T07:46:42.586249984Z
[INFO] Default User Set to hadoop:hadoop : PASS
[INFO] Working Directory Set to  : PASS
[INFO] Entrypoint Set to /usr/bin/entrypoint.sh : PASS
[INFO] HADOOP_HOME is set with value: /usr/lib/hadoop : PASS
[INFO] HADOOP_LIBEXEC_DIR is set with value: /usr/lib/hadoop/libexec : PASS
[INFO] HADOOP_USER_HOME is set with value: /home/hadoop : PASS
[INFO] HADOOP_YARN_HOME is set with value: /usr/lib/hadoop-yarn : PASS
[INFO] HIVE_HOME is set with value: /usr/lib/hive : PASS
[INFO] JAVA_HOME is set with value: /etc/alternatives/jre : PASS
[INFO] TEZ_HOME is set with value: /usr/lib/tez : PASS
[INFO] YARN_HOME is set with value: /usr/lib/hadoop-yarn : PASS
[INFO] File Structure Test for hadoop-files in /usr/lib/hadoop: PASS
[INFO] File Structure Test for hadoop-jars in /usr/lib/hadoop/lib: PASS
[INFO] File Structure Test for hadoop-yarn-jars in /usr/lib/hadoop-yarn: PASS
[INFO] File Structure Test for hive-bin-files in /usr/bin: PASS
[INFO] File Structure Test for hive-jars in /usr/lib/hive/lib: PASS
[INFO] File Structure Test for java-bin in /etc/alternatives/jre/bin: PASS
[INFO] File Structure Test for tez-jars in /usr/lib/tez: PASS
-----------------------------------------------------------------
Overall Custom Image Validation Succeeded.
-----------------------------------------------------------------

3단계: 이미지를 Amazon ECR 리포지토리에 업로드

다음 명령을 사용하여 Amazon ECR 리포지토리에 Amazon ECR 이미지를 푸시합니다. 이미지를 리포지토리로 푸시할 수 있는 올바른 IAM 권한이 있는지 확인합니다. 자세한 내용은 Amazon ECR 사용 설명서의 이미지 푸시를 참조하세요.

# login to ECR repo
aws ecr get-login-password --region region | docker login --username AWS --password-stdin aws-account-id.dkr.ecr.region.amazonaws.com

# push the docker image
docker push aws-account-id.dkr.ecr.region.amazonaws.com/my-repository:tag/@digest

4단계: 사용자 지정 이미지를 사용하여 애플리케이션 생성 또는 업데이트

애플리케이션을 시작하는 방법에 따라 AWS Management Console 탭 또는 AWS CLI 탭을 선택한 후에 다음 단계를 완료합니다.

Console

1. https://console.aws.amazon.com/lambda에서 EMR Studio 콘솔에 로그인합니다. 애플리케이션으로 이동하거나 애플리케이션 생성의 지침을 사용하여 새 애플리케이션을 생성합니다.

2. EMR Serverless 애플리케이션을 생성하거나 업데이트할 때 사용자 지정 이미지를 지정하려면 애플리케이션 설정 옵션에서 사용자 지정 설정을 선택합니다.

3. 사용자 지정 이미지 설정 섹션에서 이 애플리케이션에서 사용자 지정 이미지 사용 확인란을 선택합니다.

4. Amazon ECR 이미지 URI를 이미지 URI 필드에 붙여 넣습니다. EMR Serverless는 애플리케이션의 모든 작업자 유형에 대해 이 이미지를 사용합니다. 또는 다른 사용자 지정 이미지를 선택하고 각 작업자 유형에 대해 다른 Amazon ECR 이미지 URI를 붙여넣을 수 있습니다.

CLI

• image-configuration 파라미터를 사용하여 애플리케이션을 생성합니다. EMR Serverless는 이 설정을 모든 작업자 유형에 적용합니다.

  aws emr-serverless create-application \
  --release-label emr-6.9.0 \
  --type SPARK \
  --image-configuration '{
      "imageUri": "aws-account-id.dkr.ecr.region.amazonaws.com/my-repository:tag/@digest"
  }'

  각 작업자 유형에 대해 서로 다른 이미지 설정을 사용하는 애플리케이션을 생성하려면 worker-type-specifications 파라미터를 사용합니다.

  aws emr-serverless create-application \
  --release-label emr-6.9.0 \
  --type SPARK \
  --worker-type-specifications '{
      "Driver": {
          "imageConfiguration": {
              "imageUri": "aws-account-id.dkr.ecr.region.amazonaws.com/my-repository:tag/@digest"
          }
      },
      "Executor" : {
          "imageConfiguration": {
              "imageUri": "aws-account-id.dkr.ecr.region.amazonaws.com/my-repository:tag/@digest"
          }
      }
  }'

  애플리케이션을 업데이트하려면 image-configuration 파라미터를 사용합니다. EMR Serverless는 이 설정을 모든 작업자 유형에 적용합니다.

  aws emr-serverless update-application \
  --application-id application-id \
  --image-configuration '{
      "imageUri": "aws-account-id.dkr.ecr.region.amazonaws.com/my-repository:tag/@digest"
  }'

5단계: EMR Serverless가 사용자 지정 이미지 리포지토리에 액세스하도록 허용

Amazon ECR 리포지토리에 다음 리소스 정책을 추가하여 EMR Serverless 서비스 위탁자가 이 리포지토리에서 get, describe 및 download 요청을 사용하도록 허용합니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Emr Serverless Custom Image Support",
      "Effect": "Allow",
      "Principal": {
        "Service": "emr-serverless.amazonaws.com"
      },
      "Action": [
        "ecr:BatchGetImage",
        "ecr:DescribeImages",
        "ecr:GetDownloadUrlForLayer"
      ],
      "Condition":{
        "StringEquals":{
          "aws:SourceArn": "arn:aws:emr-serverless:region:aws-account-id:/applications/application-id"
        }
      }
    }
  ]
}

보안 모범 사례로 aws:SourceArn 조건 키를 리포지토리 정책에 추가합니다. IAM 전역 조건 키 aws:SourceArn을 사용하면 EMR Serverless가 애플리케이션 ARN에만 리포지토리를 사용하도록 보장합니다. Amazon ECR 리포지토리 정책에 대한 자세한 내용은 프라이빗 리포지토리 생성을 참조하세요.

고려 사항 및 제한

사용자 지정 이미지를 작업하는 경우 다음을 고려합니다.