Amazon EMR 클러스터 조정을 사용하여 워크로드 변경에 맞게 조정 - Amazon EMR
고려 사항

Amazon EMR 클러스터 조정을 사용하여 워크로드 변경에 맞게 조정

다양한 요구 사항이 있는 워크로드에 대한 대응으로 Amazon EMR 클러스터에서 사용 가능한 Amazon EC2 인스턴스 수를 자동 또는 수동으로 조정할 수 있습니다. 자동 조정을 수행할 경우 두 가지 옵션을 사용할 수 있습니다. Amazon EMR Managed Scaling을 활성화하거나 사용자 지정 조정 정책을 생성할 수 있습니다. 다음 표에 두 옵션의 차이점이 나와 있습니다.

Amazon EMR Managed Scaling 사용자 지정 자동 조정

조정 정책 및 규칙

정책이 필요하지 않습니다. Amazon EMR은 클러스터 지표를 지속적으로 평가하고 최적화된 조정 결정을 내림으로써 자동 조정 활동을 관리합니다.

조정 활동, 평가 기간, 휴지 기간 등을 트리거하는 특정 조건과 같은 자동 조정 정책 및 규칙을 정의하고 관리해야 합니다.

지원되는 Amazon EMR 릴리스

Amazon EMR 버전 5.30.0 이상(Amazon EMR 버전 6.0.0 제외)

Amazon EMR 버전 4.0.0 이상

지원되는 클러스터 구성

 인스턴스 그룹 또는 인스턴스 플릿

인스턴스 그룹 전용
조정 제한 구성

조정 제한은 전체 클러스터에 대해 구성됩니다.

조정 제한은 각 인스턴스 그룹에 대해서만 구성할 수 있습니다.

지표 평가 빈도

매 5~10초

지표를 더 자주 평가하면 Amazon EMR에서 보다 정확한 조정 결정을 내릴 수 있습니다.

평가 기간은 5분 증분으로만 정의할 수 있습니다.

지원되는 애플리케이션

Spark, Hadoop, Hive, Flink 등과 같은 YARN 애플리케이션만 지원됩니다. Amazon EMR Managed Scaling은 Presto나 HBase와 같이 YARN을 기반으로 하는 애플리케이션만 지원합니다.

자동 조정 규칙을 정의할 때, 지원되는 애플리케이션을 선택할 수 있습니다.

고려 사항

  • Amazon EMR 클러스터는 항상 하나 또는 세 개의 프라이머리 노드로 구성됩니다. 클러스터를 처음 구성한 후에는 코어 및 태스크 노드만 확장할 수 있습니다. 클러스터의 프라이머리 노드 수는 조정할 수 없습니다.

  • 인스턴스 그룹의 경우 재구성 작업과 크기 조정 작업이 동시에 발생하지 않고 연속적으로 발생합니다. 인스턴스 그룹 크기 조정 중에 재구성을 시작하면 인스턴스 그룹이 진행 중인 크기 조정을 완료한 후 재구성이 시작됩니다. 반대로, 인스턴스가 재구성을 수행하는 동안 크기 조정 작업을 시작하는 경우에도 마찬가지입니다.