실행 중인 클러스터에서 인스턴스 그룹 재구성

Amazon EMR 버전 5.21.0 이상을 사용하면 클러스터 애플리케이션을 재구성하고 실행 중인 클러스터의 각 인스턴스 그룹에 대해 추가 구성 분류를 지정할 수 있습니다. 이렇게 하려면 Amazon EMR 콘솔, AWS Command Line Interface (AWS CLI) 또는를 AWS 사용할 수 있습니다SDK.

새 Amazon EMR 콘솔에서 인스턴스 그룹에 대한 애플리케이션 구성을 업데이트하면 콘솔은 새 구성을 기존 구성과 병합하여 새 활성 구성을 생성하려고 시도합니다. Amazon이 구성을 병합할 EMR 수 없는 비정상적인 경우 콘솔에서 알림을 보냅니다.

인스턴스 그룹에 대한 재구성 요청을 제출하면 Amazon은 새 구성 사양에 버전 번호를 EMR 할당합니다. CloudWatch 이벤트를 확인하여 구성의 버전 번호 또는 인스턴스 그룹의 상태를 추적할 수 있습니다. 자세한 내용은 CloudWatch 이벤트 모니터링을 참조하세요.

인스턴스 그룹을 재구성할 때 고려 사항

제한 사항

실행 중인 클러스터에서 인스턴스 그룹을 재구성할 경우 다음 제한 사항을 고려합니다.

콘솔에서 인스턴스 그룹 재구성

를 사용하여 인스턴스 그룹 재구성 CLI

modify-instance-groups 명령을 사용하여 실행 중인 클러스터의 인스턴스 그룹에 대해 새 구성을 지정합니다.

[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "Configurations":[
         {
            "Classification":"yarn-site",
            "Properties":{
               "yarn.nodemanager.vmem-check-enabled":"true",
               "yarn.nodemanager.vmem-pmem-ratio":"3.0"
            },
            "Configurations":[]
         }
      ]
   }
]
					

[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "Configurations":[]
   }
]

[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "InstanceCount":5,
      "EC2InstanceIdsToTerminate":["i-123"],
      "ForceShutdown":true,
      "ShrinkPolicy":{
         "DecommissionTimeout":10,
         "InstanceResizePolicy":{
            "InstancesToTerminate":["i-123"],
            "InstancesToProtect":["i-345"],
            "InstanceTerminationTimeout":20
         }
      },
      "Configurations":[
         {
            "Classification":"yarn-site",
            "Configurations":[],
            "Properties":{
               "yarn.nodemanager.disk-health-checker.enable":"true",
               "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0"
            }
         }
      ]
   }
]

Java를 사용하여 인스턴스 그룹 재구성 SDK

다음 코드 스니펫은 AWS SDK for Java를 사용하는 인스턴스 그룹의 새 구성을 제공합니다.

AWSCredentials credentials = new BasicAWSCredentials("access-key", "secret-key");
AmazonElasticMapReduce emr = new AmazonElasticMapReduceClient(credentials);

Map<String,String> hiveProperties = new HashMap<String,String>();
hiveProperties.put("hive.join.emit.interval","1000");
hiveProperties.put("hive.merge.mapfiles","true");
        
Configuration configuration = new Configuration()
    .withClassification("hive-site")
    .withProperties(hiveProperties);
    
InstanceGroupModifyConfig igConfig = new InstanceGroupModifyConfig()
    .withInstanceGroupId("<ig-1xxxxxxx9>")
    .withReconfigurationType("MERGE");
    .withConfigurations(configuration);

ModifyInstanceGroupsRequest migRequest = new ModifyInstanceGroupsRequest()
    .withClusterId("<j-2AL4XXXXXX5T9>")
    .withInstanceGroups(igConfig);

emr.modifyInstanceGroups(migRequest);   			

다음 코드 스니펫은 빈 구성 배열을 제공하여 이전에 지정한 인스턴스 그룹 구성을 삭제합니다.

List<Configuration> configurations = new ArrayList<Configuration>();

InstanceGroupModifyConfig igConfig = new InstanceGroupModifyConfig()
    .withInstanceGroupId("<ig-1xxxxxxx9>")
    .withConfigurations(configurations);

ModifyInstanceGroupsRequest migRequest = new ModifyInstanceGroupsRequest()
    .withClusterId("<j-2AL4XXXXXX5T9>")
    .withInstanceGroups(igConfig);

emr.modifyInstanceGroups(migRequest);

인스턴스 그룹 재구성 문제 해결

인스턴스 그룹에 대한 재구성 프로세스가 실패하면 Amazon은 재구성을 EMR 되돌리고 Amazon CloudWatch 이벤트를 사용하여 실패 메시지를 기록합니다. 이벤트는 재구성 실패에 대한 간략한 요약을 제공합니다. 재구성이 실패한 인스턴스와 해당 실패 메시지를 나열합니다. 다음은 실패 메시지의 예입니다.

The reconfiguration operation for instance group ig-1xxxxxxx9 in Amazon EMR cluster j-2AL4XXXXXX5T9 (ExampleClusterName) 
failed at 2021-01-01 00:00 UTC and took 2 minutes to fail. Failed configuration version is example12345. 
Failure message: Instance i-xxxxxxx1, i-xxxxxxx2, i-xxxxxxx3 failed with message "This is an example failure message".

재구성 실패에 대한 추가 데이터를 수집하려면 노드 프로비저닝 로그를 확인할 수 있습니다. 이렇게 하면 다음과 같은 메시지를 수신할 때 특히 유용합니다.

i-xxxxxxx1 failed with message “Unable to complete transaction and some changes were applied.”

각 로그 파일에는 관련 재구성에 대한 자세한 프로비저닝 보고서가 들어 있습니다. 오류 메시지 정보를 찾으려면 보고서의 err 로그 수준을 검색하면 됩니다. 보고서 형식은 클러스터의 Amazon 버전EMR에 따라 다릅니다.

다음 예제에서는 5.32.0 및 6.2.0 이전의 Amazon EMR 릴리스 버전에 대한 오류 정보를 보여줍니다.

- !ruby/object:Puppet::Util::Log
      level: !ruby/sym err
      tags: 
        - err
      message: "Example detailed error message."
      source: Puppet
      time: 2021-01-01 00:00:00.000000 +00:00

Amazon EMR 릴리스 버전 5.32.0 및 6.2.0 이상에서는 대신 다음 형식을 사용합니다.

- level: err
  message: 'Example detailed error message.'
  source: Puppet
  tags:
  - err
  time: '2021-01-01 00:00:00.000000 +00:00'
  file: 
  line: