클러스터 조정 사용 - 아마존 EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

클러스터 조정 사용

수요가 다양한 워크로드에 대응하여 Amazon EMR 클러스터에서 사용할 수 있는 Amazon EC2 인스턴스 수를 자동 또는 수동으로 조정할 수 있습니다. 자동 조정을 수행할 경우 두 가지 옵션을 사용할 수 있습니다. Amazon EMR Managed Scaling을 활성화하거나 사용자 지정 자동 조정 정책을 생성할 수 있습니다. 다음 표에 두 옵션의 차이점이 나와 있습니다.

아마존 EMR 매니지드 스케일링 사용자 지정 자동 조정

조정 정책 및 규칙

정책이 필요하지 않습니다. Amazon은 클러스터 지표를 지속적으로 평가하고 최적화된 규모 조정 결정을 내림으로써 자동 조정 활동을 EMR 관리합니다.

조정 활동, 평가 기간, 휴지 기간 등을 트리거하는 특정 조건과 같은 자동 조정 정책 및 규칙을 정의하고 관리해야 합니다.

지원되는 아마존 EMR 릴리스

아마존 EMR 버전 5.30.0 이상 (아마존 EMR 버전 6.0.0 제외)

아마존 EMR 버전 4.0.0 이상

지원되는 클러스터 구성

인스턴스 그룹 또는 인스턴스 플릿

인스턴스 그룹 전용

조정 제한 구성

조정 제한은 전체 클러스터에 대해 구성됩니다.

조정 제한은 각 인스턴스 그룹에 대해서만 구성할 수 있습니다.

지표 평가 빈도

매 5~10초

지표를 더 자주 평가함으로써 EMR Amazon은 더 정확한 규모 조정 결정을 내릴 수 있습니다.

평가 기간은 5분 증분으로만 정의할 수 있습니다.

지원되는 애플리케이션

Spark, Hadoop, Hive, Flink와 같은 YARN 애플리케이션만 지원됩니다. Amazon EMR Managed Scaling은 Presto와 같이 YARN 기반이 아닌 애플리케이션을 지원하지 않습니다. HBase

자동 조정 규칙을 정의할 때, 지원되는 애플리케이션을 선택할 수 있습니다.

고려 사항

  • Amazon EMR 클러스터는 항상 하나 또는 세 개의 기본 노드로 구성됩니다. 클러스터를 처음 구성한 후에는 코어 및 태스크 노드만 확장할 수 있습니다. 클러스터의 프라이머리 노드 수는 조정할 수 없습니다.

  • 인스턴스 그룹의 경우 재구성 작업과 크기 조정 작업이 동시에 발생하지 않고 연속적으로 발생합니다. 인스턴스 그룹 크기 조정 중에 재구성을 시작하면 인스턴스 그룹이 진행 중인 크기 조정을 완료한 후 재구성이 시작됩니다. 반대로, 인스턴스가 재구성을 수행하는 동안 크기 조정 작업을 시작하는 경우에도 마찬가지입니다.