Amazon EMR 클러스터 오류: HDFS 복제 인수 오류 - Amazon EMR
가능한 원인해결 방법 및 모범 사례

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon EMR 클러스터 오류: HDFS 복제 인수 오류

코어 인스턴스 그룹 또는 인스턴스 플릿에서 코어 노드를 제거하면 Amazon EMR에서 HDFS 복제 오류가 발생할 수 있습니다. 이 오류는 코어 노드를 제거하고 코어 노드 수가 Hadoop 분산 파일 시스템(HDFS)에 대해 구성된 dfs.replication 인수 아래로 떨어질 때 발생합니다. 이와 같이 Amazon EMR은 작업을 안전하게 수행할 수 없습니다. dfs.replication 구성의 기본값을 확인하려면 HDFS 구성을 선택합니다.

가능한 원인

HDFS 복제 인수 오류의 가능한 원인은 다음을 참조하세요.

  • 코어 인스턴스 그룹 또는 인스턴스 플릿의 크기를 구성된 dfs.replication 인수 미만으로 수동으로 조정하는 경우.

  • 관리형 조정 또는 자동 조정에 대한 정책을 사용하면 조정 작업에서 코어 노드 수를 임계치(dfs.replication) 미만으로 줄일 수 있습니다.

  • 이 오류는 dfs.replication에서 정의한 최소 수의 코어 노드가 클러스터에 있는 경우 Amazon EMR이 비정상 코어 노드를 교체하려고 할 때도 발생할 수 있습니다.

해결 방법 및 모범 사례

솔루션 및 모범 사례는 다음을 참조하세요.

  • Amazon EMR 클러스터의 크기를 수동으로 조정하는 경우 Amazon EMR이 크기 조정을 안전하게 완료할 수 없으므로 dfs.replication 아래로 스케일 다운하지 않습니다.

  • 관리형 조정 또는 자동 조정을 사용하는 경우 클러스터의 최소 용량이 dfs.replication 인수보다 낮지 않은지 확인합니다.

  • 코어 인스턴스 수는 dfs.replication + 1개 이상이어야 합니다. 이렇게 하면 비정상 코어 교체를 활성화한 경우 Amazon EMR이 비정상 코어 노드를 성공적으로 교체할 수 있습니다.

중요

dfs.replication을 1로 설정하는 경우 단일 코어 노드가 실패하면 HDFS 데이터가 손실될 수 있습니다. 클러스터에 HDFS 스토리지가 있는 경우 데이터 손실을 방지하고 dfs.replication 팩터를 2 이상으로 설정하도록 프로덕션 워크로드에 대해 최소 4개의 코어 노드로 클러스터를 구성하는 것이 좋습니다.