사용자 지정을 사용하여 Amazon EMR 클러스터 구성에 더 많은 유연성 AMI 제공

Amazon EMR 5.7.0 이상을 사용하는 경우 기본 Amazon Linux AMI for Amazon AMI 대신 사용자 지정 Amazon Linux를 지정하도록 선택할 수 있습니다EMR. 사용자 지정AMI은 다음을 수행하려는 경우에 유용합니다.

클러스터를 생성하는 리전과 동일한 AWS 리전에 사용자 지정이 있어야 AMI 합니다. 인스턴스 EC2 아키텍처와도 일치해야 합니다. 예를 들어 m5.xlarge 인스턴스에는 x86_64 아키텍처가 있습니다. 따라서 사용자 지정를 사용하여 m5.xlarge를 프로비저닝하려면 AMI사용자 지정에 x86_64 아키텍처도 있어야 AMI 합니다. 마찬가지로 arm64 아키텍처가 있는 m6g.xlarge 인스턴스를 프로비저닝하려면 사용자 지정에 arm64 아키텍처가 AMI 있어야 합니다. 인스턴스 유형에 AMI 대한 Linux 식별에 대한 자세한 내용은 Amazon EC2 사용 설명서의 Linux 찾기AMI를 참조하세요.

사전 구성된 인스턴스AMI에서 사용자 지정 Amazon Linux 생성

소프트웨어를 사전 설치하고 다른 구성을 수행하여 사용자 지정 Amazon Linux AMI for Amazon을 생성하기 위한 기본 단계는 다음과 EMR 같습니다.

사용자 지정된 인스턴스를 기반으로 이미지를 생성한 후 암호화된 Amazon EBS 루트 디바이스 볼륨AMI으로 사용자 지정 생성 단원에 설명된 대로 해당 이미지를 암호화된 대상에 복사할 수 있습니다.

자습서: 사용자 지정 소프트웨어가 설치된 인스턴스AMI에서 생성

Amazon EMR 클러스터AMI에서 사용자 지정을 사용하는 방법

사용자 지정을 사용하여 두 가지 방법으로 Amazon EMR 클러스터를 프로비저닝AMI할 수 있습니다.

EMR 클러스터를 프로비저닝할 때 두 옵션 중 하나만 사용할 수 있으며 클러스터가 시작된 후에는 변경할 수 없습니다.

EMR 클러스터AMI에서 단일 사용자 지정 사용

클러스터를 생성할 때 사용자 지정 AMI ID를 지정하려면 다음 중 하나를 사용합니다.

Amazon EMR 클러스터AMIs에서 여러 사용자 지정 사용

여러 사용자 지정를 사용하여 클러스터를 생성하려면 다음 중 하나를 AMIs사용합니다.

AWS Management Console은 현재 여러 사용자 지정를 사용하여 클러스터를 생성하는 것을 지원하지 않습니다AMIs.

aws emr create-cluster --instance-groups 
InstanceGroupType=PRIMARY,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456 
InstanceGroupType=CORE,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-234567
InstanceGroupType=TASK,InstanceType=m6g.xlarge,InstanceCount=1,CustomAmiId=ami-345678
InstanceGroupType=TASK,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-456789

aws emr create-cluster --instance-groups 
InstanceGroupType=PRIMARY,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456 
InstanceGroupType=CORE,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456
InstanceGroupType=TASK,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-234567

{
    "ClusterId": "j-123456",
    ...
}

aws emr add-instance-groups --cluster-id j-123456 --instance-groups InstanceGroupType=Task,InstanceType=m6g.xlarge,InstanceCount=1,CustomAmiId=ami-345678

aws emr create-cluster --instance-fleets 
InstanceFleetType=PRIMARY,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge, CustomAmiId=ami-123456}'] 
InstanceFleetType=CORE,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-234567},{InstanceType=m6g.xlarge, CustomAmiId=ami-345678}']
InstanceFleetType=TASK,TargetSpotCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-456789},{InstanceType=m6g.xlarge, CustomAmiId=ami-567890}']

aws emr create-cluster --instance-fleets 
InstanceFleetType=PRIMARY,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge, CustomAmiId=ami-123456}'] 
InstanceFleetType=CORE,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-234567},{InstanceType=m6g.xlarge, CustomAmiId=ami-345678}']

{
    "ClusterId": "j-123456",
    ...
}

aws emr add-instance-fleet --cluster-id j-123456 --instance-fleet 
InstanceFleetType=TASK,TargetSpotCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-234567},{InstanceType=m6g.xlarge, CustomAmiId=ami-345678}']

AMI 패키지 리포지토리 업데이트 관리

처음 부팅할 때 기본적으로 Amazon Linux는 패키지 리포지토리에 AMIs 연결하여 다른 서비스가 시작되기 전에 보안 업데이트를 설치합니다. 요구 사항에 따라 Amazon에 AMI 대한 사용자 지정을 지정할 때 이러한 업데이트를 비활성화하도록 선택할 수 있습니다EMR. 이 기능을 비활성화하는 옵션은 사용자 지정를 사용하는 경우에만 사용할 수 있습니다AMI. 기본적으로 Amazon Linux 커널 업데이트 및 재부팅이 필요한 기타 소프트웨어 패키지는 업데이트되지 않습니다. 네트워킹 구성에서 Amazon S3의 Amazon Linux HTTPS 리포지토리를 허용HTTP하고 리포지토리로 내보내야 합니다. 그렇지 않으면 보안 업데이트가 성공하지 못합니다.

를 사용하면 사용자 지정 AMI을 선택할 때 업데이트를 비활성화하는 옵션을 선택할 AWS Management Console수 있습니다.

를 사용하면 create-cluster 명령을 사용할 --custom-ami-id 때와 --repo-upgrade-on-boot NONE 함께를 AWS CLI지정할 수 있습니다.

Amazon EMR를 사용하면 RepoUpgradeOnBoot 파라미터NONE에를 지정할 API수 있습니다.

암호화된 Amazon EBS 루트 디바이스 볼륨AMI으로 사용자 지정 생성

Amazon Linux AMI for Amazon의 Amazon EBS 루트 디바이스 볼륨을 암호화하려면 암호화되지 않은 대상에서 암호화된 대상으로 스냅샷 이미지를 EMR복사AMI합니다. 암호화된 EBS 볼륨 생성에 대한 자세한 내용은 Amazon 사용 설명서의 Amazon EBS 암호화를 참조하세요. EC2 스냅샷AMI의 소스는 기본 Amazon Linux AMI이거나 사용자 지정한 기본 Amazon Linux에서 AMI 파생된에서 스냅샷을 복사AMI할 수 있습니다.

외부 키 공급자 또는 AWS KMS 키를 사용하여 EBS 루트 볼륨을 암호화할 수 있습니다. Amazon이를 사용하여 클러스터를 생성하려면 Amazon이 EMR 사용하는 서비스 역할(일반적으로 기본 EMR_DefaultRole)이 최소한 볼륨을 암호화하고 해독EMR하도록 허용해야 합니다AMI. 를 키 공급자 AWS KMS 로 사용하는 경우 다음 작업을 허용해야 합니다.

가장 간단한 방법은 다음 자습서에 설명된 대로 역할을 키 사용자로 추가하는 것입니다. 다음 정책 설명 예제는 역할 정책을 사용자 지정해야 하는 경우 제공됩니다.

{ 
"Version": "2012-10-17", 
"Statement": [ 
   { 
   "Sid": "EmrDiskEncryptionPolicy", 
   "Effect": "Allow", 
   "Action": [ 
      "kms:Encrypt", 
      "kms:Decrypt", 
      "kms:ReEncrypt*", 
      "kms:CreateGrant", 
      "kms:GenerateDataKeyWithoutPlaintext", 
      "kms:DescribeKey" 
      ], 
   "Resource": [ 
      "*" 
      ] 
   } 
] 
}                 
            

자습서: KMS 키를 사용하여 암호화된 루트 디바이스 볼륨AMI으로 사용자 지정 생성

이 예제의 첫 번째 단계는 KMS 키ARN의를 찾거나 새 키를 생성하는 것입니다. 키 생성에 대한 자세한 내용은 AWS Key Management Service 개발자 안내서에서 Creating keys를 참조하세요. 다음 절차에서는 기본 서비스 역할인 EMR_DefaultRole을 키 정책에 키 사용자로 추가하는 방법을 보여줍니다. 키를 생성하거나 편집할 때 키 ARN 값을 적어 둡니다. 를 생성할 때 ARN 더 높은를 사용합니다AMI.

명령의 출력은 클러스터를 생성할 때 지정할 수 있는 AMI 생성한의 ID를 제공합니다. 자세한 내용은 EMR 클러스터AMI에서 단일 사용자 지정 사용 단원을 참조하십시오. 소프트웨어를 AMI 설치하고 다른 구성을 수행하여이 설정을 사용자 지정할 수도 있습니다. 자세한 내용은 사전 구성된 인스턴스AMI에서 사용자 지정 Amazon Linux 생성 단원을 참조하십시오.

모범 사례 및 고려 사항

Amazon에 AMI 대한 사용자 지정을 생성할 때 다음을 EMR고려합니다.

자세한 내용은 Amazon 사용 설명서의 Amazon EBS지원 Linux 생성을 AMI 참조하세요. EC2