인스턴스 플릿이나 균일한 인스턴스 그룹을 사용하여 Amazon EMR 클러스터 생성

클러스터를 생성하고 프라이머리 노드, 코어 노드 및 태스크 노드의 구성을 지정하는 경우 두 가지 구성 옵션이 있습니다. 인스턴스 플릿 또는 균일한 인스턴스 그룹을 사용할 수 있습니다. 선택하는 구성 옵션은 모든 노드에 대해 클러스터의 수명 동안 적용되며, 인스턴스 집합과 인스턴스 그룹이 클러스터 하나에서 공존할 수는 없습니다. 인스턴스 플릿 구성은 5.0.x 버전을 제외한 Amazon EMR 버전 4.8.0 이상에서 제공됩니다.

Amazon EMR 콘솔, AWS CLI 또는 Amazon EMR API를 사용하여 두 구성 중 하나로 클러스터를 생성할 수 있습니다. AWS CLI의 create-cluster 명령을 사용하는 경우 --instance-fleets 파라미터를 사용하여 인스턴스 플릿을 사용하는 클러스터를 생성하거나, --instance-groups 파라미터를 사용하여 균일한 인스턴스 그룹을 사용하는 클러스터를 생성할 수 있습니다.

Amazon EMR API를 사용할 때도 마찬가지입니다. InstanceGroups 구성을 사용하여 InstanceGroupConfig 개체 배열을 지정하거나, InstanceFleets 구성을 사용하여 InstanceFleetConfig 개체 배열을 지정할 수 있습니다.

새 Amazon EMR 콘솔에서는 클러스터를 생성할 때 인스턴스 그룹 또는 인스턴스 플릿을 사용하도록 선택할 수 있으며, 각각에서 스팟 인스턴스를 사용하는 옵션을 제공하니다. Amazon EMR 콘솔에서 클러스터 생성 시 기본 빠른 옵션 설정을 사용하는 경우 Amazon EMR에서 균일한 인스턴스 그룹 구성을 클러스터에 적용하고 온디맨드 인스턴스를 사용합니다. 균일한 인스턴스 그룹과 함께 스팟 인스턴스를 사용하거나 인스턴스 플릿 및 기타 사용자 지정을 구성하려면 Advanced Options(고급 옵션)를 선택합니다.

인스턴스 플릿

인스턴스 플릿 구성은 Amazon EC2 인스턴스에 대한 다양한 프로비저닝 옵션을 제공합니다. 노드 유형마다 인스턴스 플릿 하나가 있으며, 태스크 인스턴스 플릿은 선택 사항입니다. 또는 플릿당 최대 5개의 EC2 인스턴스 유형을 지정하거나 AWS CLI 또는 Amazon EMR API와 온디맨드 및 스팟 인스턴스에 대한 할당 전략을 사용하여 클러스터를 생성할 때 플릿당 30개의 EC2 인스턴스 유형을 지정할 수 있습니다. 코어 및 태스크 인스턴스 플릿의 경우 온디맨드 인스턴스에 목표 용량을 할당하고 스팟 인스턴스에 다른 목표 용량을 할당합니다. Amazon EMR은 목표 용량을 충족하기 위해 지정된 인스턴스 유형을 조합하여 온디맨드 인스턴스와 스팟 인스턴스를 모두 프로비저닝합니다.

프라이머리 노드 유형의 경우 Amazon EMR이 인스턴스 목록에서 단일 인스턴스 유형을 선택하고 사용자가 해당 인스턴스 유형을 온디맨드 또는 스팟 인스턴스로 프로비저닝할지 여부를 지정합니다. 인스턴스 플릿은 스팟 인스턴스 및 온디맨드 구매를 위한 추가 옵션도 제공합니다. 스팟 인스턴스 옵션에는 스팟 용량을 프로비저닝할 수 없는 경우 수행할 작업을 지정하는 제한 시간 및 스팟 인스턴스 플릿을 시작할 때 기본 할당 전략(용량 최적화)이 포함됩니다. 할당 전략(최저 가격) 옵션을 사용하여 온디맨드 인스턴스 플릿을 시작할 수도 있습니다. EMR 기본 서비스 역할이 아닌 서비스 역할을 사용하거나 서비스 역할에서 EMR 관리형 정책을 사용하는 경우 사용자 지정 클러스터 서비스 역할에 추가 권한을 추가하여 할당 전략 옵션을 활성화해야 합니다. 자세한 내용은 Amazon EMR의 서비스 역할(EMR 역할) 단원을 참조하십시오.

인스턴스 플릿 구성에 대한 자세한 내용은 Amazon EMR 클러스터의 인스턴스 플릿 계획 및 구성 섹션을 참조하세요.

균일한 인스턴스 그룹

균일한 인스턴스 그룹은 인스턴스 플릿보다 간단한 설정을 제공합니다. 각 Amazon EMR 클러스터에 최대 50개 인스턴스 그룹을 포함할 수 있으며, 이 인스턴스 그룹은 Amazon EC2 인스턴스 하나를 포함하는 프라이머리 인스턴스 그룹 하나, 하나 이상의 EC2 인스턴스를 포함하는 코어 인스턴스 그룹 하나, 그리고 최대 48개의 태스크 인스턴스 그룹(선택 사항)으로 이루어집니다. 각 코어 및 태스크 인스턴스 그룹에는 임의 개수의 Amazon EC2 인스턴스가 포함될 수 있습니다. Amazon EC2 인스턴스를 수동으로 추가 및 제거하여 각 인스턴스 그룹을 조정하거나 자동 조정을 설정할 수 있습니다. 인스턴스 추가 및 제거에 대한 자세한 내용은 Amazon EMR 클러스터 조정을 사용하여 워크로드 변경에 맞게 조정 단원을 참조하십시오.

균일한 인스턴스 그룹 구성에 대한 자세한 내용은 Amazon EMR 클러스터에 대한 균일한 인스턴스 그룹 구성 단원을 참조하십시오.

인스턴스 플릿 및 인스턴스 그룹 작업