Amazon EMR 클러스터 하드웨어 및 네트워킹 구성

노드 유형 - EMR 클러스터의 Amazon EC2 인스턴스는 노드 유형으로 구성됩니다. 프라이머리 노드, 코어 노드 및 태스크 노드와 같은 세 가지 유형이 있습니다. 각 노드 유형은 클러스터에 설치한 분산 애플리케이션에서 정의되는 역할 세트를 수행합니다. 예를 들어 코어 및 태스크 노드의 구성 요소가 데이터를 처리하고, 출력을 Amazon S3 또는 로 전송하고HDFS, 상태 메타데이터를 기본 노드로 다시 제공하는 등의 Hadoop 또는 MapReduce Spark 작업 중에 단일 노드 클러스터의 경우, 모든 구성 요소가 프라이머리 노드에서 실행됩니다. 자세한 내용은 Amazon의 노드 유형 이해EMR: 기본, 코어 및 태스크 노드 단원을 참조하십시오.

EC2 인스턴스 - 클러스터를 생성할 때 각 노드 유형이 실행할 Amazon EC2 인스턴스를 선택합니다. EC2 인스턴스 유형에 따라 노드의 처리 및 스토리지 프로파일이 결정됩니다. 노드에 대한 Amazon EC2 인스턴스 선택은 클러스터에 있는 개별 노드 유형의 성능 프로파일을 결정하기 때문에 중요합니다. 자세한 내용은 Amazon과 함께 사용할 Amazon EC2 인스턴스 유형 구성 EMR 단원을 참조하십시오.

네트워킹 - 퍼블릭 서브넷, 프라이빗 서브넷 또는 공유 서브넷을 VPC 사용하여에서 Amazon EMR 클러스터를 시작할 수 있습니다. 네트워킹 구성에 따라 고객과 서비스가 클러스터에 연결하여 작업을 수행하는 방법, 클러스터에서 데이터 스토어 및 기타 AWS 리소스에 연결하는 방법, 해당 연결에서 트래픽을 제어하는 옵션이 결정됩니다. 자세한 내용은 AmazonVPC용에서 네트워킹 구성 EMR 단원을 참조하십시오.

인스턴스 그룹화 - 각 노드 유형을 호스팅하는 인스턴스 모음을 EC2 인스턴스 플릿 또는 균일한 인스턴스 그룹이라고 합니다. 클러스터를 생성할 때 인스턴스 그룹화 구성을 선택합니다. 이 선택에 따라 클러스터가 실행되는 동안 클러스터에 노드를 추가할 수 있는 방법이 결정됩니다. 구성은 모든 노드 유형에 적용됩니다. 나중에 변경할 수 없습니다. 자세한 내용은 인스턴스 플릿 또는 균일한 인스턴스 그룹을 사용하여 Amazon EMR 클러스터 생성 단원을 참조하십시오.