인스턴스 플릿이나 균일한 인스턴스 그룹을 사용하여 클러스터 생성 - 아마존 EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

인스턴스 플릿이나 균일한 인스턴스 그룹을 사용하여 클러스터 생성

클러스터를 생성하고 프라이머리 노드, 코어 노드 및 태스크 노드의 구성을 지정하는 경우 두 가지 구성 옵션이 있습니다. 인스턴스 플릿 또는 균일한 인스턴스 그룹을 사용할 수 있습니다. 선택하는 구성 옵션은 모든 노드에 대해 클러스터의 수명 동안 적용되며, 인스턴스 집합과 인스턴스 그룹이 클러스터 하나에서 공존할 수는 없습니다. 인스턴스 플릿 구성은 Amazon EMR 버전 4.8.0 이상에서 사용할 수 있습니다 (5.0.x 버전 제외).

Amazon EMR 콘솔을 사용할 수 있습니다. AWS CLI또는 Amazon을 EMR API 사용하여 두 구성 중 하나를 사용하여 클러스터를 생성할 수 있습니다. 의 create-cluster 명령을 사용하는 경우 AWS CLI--instance-fleets파라미터를 사용하여 인스턴스 플릿을 사용하여 클러스터를 생성하거나 --instance-groups 파라미터를 사용하여 균일한 인스턴스 그룹을 사용하여 클러스터를 생성할 수도 있습니다.

Amazon을 사용하는 것도 마찬가지입니다 EMRAPI. InstanceGroups 구성을 사용하여 InstanceGroupConfig 개체 배열을 지정하거나, InstanceFleets 구성을 사용하여 InstanceFleetConfig 개체 배열을 지정할 수 있습니다.

새 Amazon EMR 콘솔에서는 클러스터를 생성할 때 인스턴스 그룹 또는 인스턴스 플릿을 사용하도록 선택할 수 있으며, 각 클러스터에 스팟 인스턴스를 사용할 수도 있습니다. 이전 Amazon EMR 콘솔에서는 클러스터를 생성할 때 기본 Quick Options 설정을 사용하면 Amazon은 클러스터에 균일한 인스턴스 그룹 구성을 EMR 적용하고 온디맨드 인스턴스를 사용합니다. 균일한 인스턴스 그룹과 함께 스팟 인스턴스를 사용하거나 인스턴스 플릿 및 기타 사용자 지정을 구성하려면 Advanced Options(고급 옵션)를 선택합니다.

인스턴스 플릿

인스턴스 플릿 구성은 Amazon 인스턴스를 위한 가장 다양한 프로비저닝 옵션을 제공합니다. EC2 노드 유형마다 인스턴스 플릿 하나가 있으며, 태스크 인스턴스 플릿은 선택 사항입니다. 를 사용하여 클러스터를 생성할 때 플릿당 최대 5개의 EC2 인스턴스 유형을 지정하거나 플릿당 30개의 EC2 인스턴스 유형을 지정할 수 있습니다. AWS CLI 또는 Amazon EMR API 및 온디맨드 및 스팟 인스턴스에 대한 할당 전략. 코어 및 태스크 인스턴스 플릿의 경우 온디맨드 인스턴스에 목표 용량을 할당하고 스팟 인스턴스에 다른 목표 용량을 할당합니다. EMRAmazon은 목표 용량을 충족하기 위해 지정된 인스턴스 유형을 원하는 대로 조합하여 온디맨드 인스턴스와 스팟 인스턴스를 모두 프로비저닝합니다.

기본 노드 유형의 경우 Amazon은 인스턴스 목록에서 단일 인스턴스 유형을 EMR 선택하고, 사용자는 이를 온디맨드 또는 스팟 인스턴스로 프로비저닝할지 여부를 지정합니다. 인스턴스 플릿은 스팟 인스턴스 및 온디맨드 구매를 위한 추가 옵션도 제공합니다. 스팟 인스턴스 옵션에는 스팟 용량을 프로비저닝할 수 없는 경우 수행할 작업을 지정하는 제한 시간 및 스팟 인스턴스 플릿을 시작할 때 기본 할당 전략(용량 최적화)이 포함됩니다. 할당 전략(최저 가격) 옵션을 사용하여 온디맨드 인스턴스 플릿을 시작할 수도 있습니다. EMR기본 서비스 역할이 아닌 서비스 역할을 사용하거나 서비스 역할에서 EMR 관리형 정책을 사용하는 경우 사용자 지정 클러스터 서비스 역할에 추가 권한을 추가하여 할당 전략 옵션을 활성화해야 합니다. 자세한 내용은 Amazon의 서비스 역할 EMR (EMR역할) 단원을 참조하십시오.

인스턴스 플릿 구성에 대한 자세한 내용은 클러스터의 인스턴스 플릿 계획 및 구성 섹션을 참조하세요.

균일한 인스턴스 그룹

균일한 인스턴스 그룹은 인스턴스 플릿보다 간단한 설정을 제공합니다. 각 Amazon EMR 클러스터는 최대 50개의 인스턴스 그룹을 포함할 수 있습니다. 즉, 하나의 Amazon EC2 인스턴스를 포함하는 기본 인스턴스 그룹 하나, 하나 이상의 EC2 인스턴스를 포함하는 코어 인스턴스 그룹, 최대 48개의 선택적 작업 인스턴스 그룹이 포함될 수 있습니다. 각 코어 및 작업 인스턴스 그룹은 Amazon EC2 인스턴스를 원하는 수만큼 포함할 수 있습니다. Amazon 인스턴스를 수동으로 추가 및 제거하여 각 EC2 인스턴스 그룹을 확장하거나 자동 조정을 설정할 수 있습니다. 인스턴스 추가 및 제거에 대한 자세한 내용은 Amazon EMR 클러스터 스케일링을 사용하여 변화하는 워크로드에 맞게 조정하세요 단원을 참조하십시오.

균일한 인스턴스 그룹 구성에 대한 자세한 내용은 균일한 인스턴스 그룹 구성 단원을 참조하십시오.

인스턴스 플릿 및 인스턴스 그룹 작업