클러스터를 시작하는 경우 Amazon VPC 옵션 - Amazon EMR
퍼블릭 서브넷프라이빗 서브넷공유 서브넷IAM을 통해 VPC 권한 제어

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

클러스터를 시작하는 경우 Amazon VPC 옵션

VPC 내에서 Amazon EMR 클러스터를 시작하는 경우 퍼블릭, 프라이빗 또는 공유 서브넷 내에서 시작할 수 있습니다. 클러스터에 대해 선택하는 서브넷 유형에 따라 구성이 약간 달라집니다.

퍼블릭 서브넷

퍼블릭 서브넷의 EMR 클러스터의 경우 인터넷 게이트웨이가 연결되어 있어야 합니다. 이는 Amazon EMR 클러스터가 AWS 서비스 및 Amazon EMR에 액세스해야 하기 때문입니다. Amazon S3와 같은 서비스에서 VPC 엔드포인트를 생성할 수 있는 기능을 제공하는 경우, 인터넷 게이트웨이를 통해 퍼블릭 엔드포인트를 액세스하는 대신에 엔드포인트를 사용하여 이러한 서비스에 액세스할 수 있습니다. 또한, Amazon EMR은 Network Address Translation(NAT) 디바이스를 통해 퍼블릭 서브넷에 있는 클러스터와 통신할 수 없습니다. 이 목적으로 인터넷 게이트웨이가 필요하지만 복잡한 시나리오에서 기타 트래픽에 대해 NAT 인스턴스나 게이트웨이를 여전히 사용할 수 있습니다.

VPC 엔드포인트 또는 인터넷 게이트웨이를 통해 클러스터의 모든 인스턴스가 Amazon S3에 연결됩니다. 현재 VPC 엔드포인트를 지원하지 않는 다른 AWS 서비스는 인터넷 게이트웨이만 사용합니다.

인터넷 게이트웨이에 연결하지 않으려는 추가 AWS 리소스가 있는 경우 VPC 내에서 생성한 프라이빗 서브넷에서 해당 구성 요소를 시작할 수 있습니다.

퍼블릭 서브넷에서 실행 중인 클러스터에는 프라이머리 노드에 대한 보안 그룹과 코어 및 태스크 노드에 대한 보안 그룹의 두 가지 보안 그룹이 있습니다. 자세한 내용은 Amazon EMR 클러스터의 보안 그룹으로 네트워크 트래픽 제어 단원을 참조하십시오.

다음 다이어그램은 Amazon EMR 클러스터가 퍼블릭 서브넷을 사용하여 VPC에서 실행되는 방식을 보여줍니다. 클러스터는 인터넷 게이트웨이를 통해 Amazon S3 버킷과 같은 다른 AWS 리소스에 연결할 수 있습니다.

VPC의 클러스터

다음 다이어그램에는 Oracle 데이터베이스 등 자신의 고유 네트워크에서 VPC 내 클러스터가 리소스에 액세스할 수 있도록 VPC를 설정하는 방법을 보여 줍니다.

로컬 VPN 리소스에 액세스하도록 VPC 및 클러스터 설정

프라이빗 서브넷

프라이빗 서브넷을 사용하면 서브넷에 인터넷 게이트웨이가 연결되지 않아도 AWS 리소스를 시작할 수 있습니다. Amazon EMR은 릴리스 버전 4.2.0 이상에서 프라이빗 서브넷에서의 클러스터 시작 기능을 지원합니다.

참고

프라이빗 서브넷에서 Amazon EMR 클러스터를 설정할 때는 Amazon S3에 대한 VPC 엔드포인트도 설정하는 것이 좋습니다. EMR 클러스터가 Amazon S3의 VPC 엔드포인트 없이 프라이빗 서브넷에 있는 경우, EMR 클러스터와 S3 간 트래픽이 VPC 내에 머물지 않기 때문에 S3 트래픽과 관련된 추가 NAT 게이트웨이 요금이 발생합니다.

프라이빗 서브넷은 다음과 같은 점에서 퍼블릿 서브넷과 다릅니다.

  • VPC 엔드포인트를 제공하지 않는 AWS 서비스에 액세스하려면 NAT 인스턴스 또는 인터넷 게이트웨이를 계속 사용해야 합니다.

  • 최소한, Amazon S3에 Amazon Linux 리포지토리 및 Amazon EMR 서비스 로그 버킷에 대한 경로를 제공해야 합니다. 자세한 내용은 Amazon S3에 액세스하는 프라이빗 서브넷에 대한 샘플 정책 단원을 참조하세요.

  • EMRFS 기능을 사용할 경우 프라이빗 서브넷에서 DynamoDB로 연결되는 경로와 Amazon S3 VPC 엔드포인트가 있어야 합니다.

  • 프라이빗 서브넷에서 퍼블릭 Amazon SQS 엔드포인트로 연결되는 경로를 제공하는 경우에만 디버깅이 작동합니다.

  • 퍼블릭 서브넷에서 NAT 인스턴스 또는 게이트웨이로 프라이빗 서브넷 구성을 생성하는 작업은 AWS Management Console을 사용할 때만 지원됩니다. Amazon EMR 클러스터에 대한 NAT 인스턴스 및 Amazon S3 VPC 엔드포인트를 추가하고 구성하는 가장 쉬운 방법은 Amazon EMR 콘솔에서 VPC 서브넷 목록 페이지를 사용하는 것입니다. NAT 게이트웨이를 생성하려면 Amazon VPC 사용 설명서에서 NAT 게이트웨이를 참조하세요.

  • 기존 Amazon EMR 클러스터를 포함하는 서브넷을 퍼블릭에서 프라이빗으로 또는 그 반대로 변경할 수 있습니다. 프라이빗 서브넷 내에서 Amazon EMR 클러스터를 찾으려면 클러스터를 프라이빗 서브넷에서 시작해야 합니다.

Amazon EMR은 프라이빗 서브넷에서 클러스터에 대한 다양한 기본 보안 그룹(ElasticMapReduce-Master-Private, ElasticMapReduce-Slave-Private 및 ElasticMapReduce-ServiceAccess)을 생성하고 사용합니다. 자세한 내용은 Amazon EMR 클러스터의 보안 그룹으로 네트워크 트래픽 제어 단원을 참조하십시오.

클러스터의 전체 NACL 목록을 보려면 Amazon EMR 콘솔 클러스터 세부 정보 페이지에서 프라이머리에 대한 보안 그룹 및 코어 및 작업에 대한 보안 그룹을 선택합니다.

다음 이미지는 Amazon EMR 클러스터가 프라이빗 서브넷 내에서 구성되는 방식을 보여줍니다. 서브넷 외부 통신만 Amazon EMR과 이루어집니다.

프라이빗 서브넷에서 Amazon EMR 클러스터 시작

다음 이미지는 퍼블릭 서브넷에서 상주하는 NAT 인스턴스에 연결된 프라이빗 서브넷 내 Amazon EMR 클러스터에 대한 샘플 구성을 보여줍니다.

NAT를 사용하는 프라이빗 서브넷

공유 서브넷

VPC 공유를 통해 고객은 동일한 AWS 조직 내의 다른 AWS 계정과 서브넷을 공유할 수 있습니다. 다음 주의 사항을 참고해 퍼블릭 공유 및 프라이빗 공유 서브넷으로 Amazon EMR 클러스터를 시작할 수 있습니다.

서브넷 소유자는 사용자가 해당 서브넷으로 Amazon EMR 클러스터를 시작하기 전에 사용자와 서브넷을 공유해야 합니다. 그러나 공유된 서브넷은 나중에 공유 해제할 수 있습니다. 자세한 내용은 공유 VPC 작업을 참조하십시오. 클러스터가 공유된 서브넷으로 시작되고 나서 이 공유된 서브넷이 공유 해제되는 경우 서브넷이 공유 해제되는 시점의 Amazon EMR 클러스터의 상태에 따른 특정 동작을 관찰할 수 있습니다.

  • 서브넷은 클러스터가 성공적으로 시작되기 전에 공유 해제됩니다. 참가자가 클러스터를 시작하는 중에 소유주가 Amazon VPC 또는 서브넷의 공유를 중단하면 요청된 모든 인스턴스를 프로비저닝하지 않고는 클러스터를 시작할 수 없거나 부분적으로 초기화하지 못할 수 있습니다.

  • 서브넷은 클러스터가 성공적으로 시작된 후에 공유 해제됩니다. 소유자가 서브넷 또는 Amazon VPC를 참가자와 공유하는 것을 중단하면 참가자의 클러스터는 새 인스턴스를 추가하거나 비정상 인스턴스를 교체할 수 있도록 크기 조정이 되지 않습니다.

Amazon EMR 클러스터를 시작하면 여러 개의 보안 그룹이 생성됩니다. 공유된 서브멧에서 서브넷 참가자는 이 보안 그룹을 제어합니다. 서브넷 소유자는 이 보안 그룹을 볼 수 있지만 이 보안 그룹에 대해 작업을 수행할 수는 없습니다. 서브넷 소유자가 보안 그룹을 제거하거나 수정하고자 하는 경우 보안 그룹을 생성한 참가자가 조치를 취해야 합니다.

IAM을 통해 VPC 권한 제어

기본적으로 모든 사용자는 해당 계정에 대한 모든 서브넷을 볼 수 있으며, 모든 사용자가 어떤 서브넷에서든지 클러스터를 시작할 수 있습니다.

클러스터를 VPC로 시작할 때 Amazon EC2 Classic에서 클러스터를 시작할 때와 마찬가지로 AWS Identity and Access Management (IAM)을 사용하여 클러스터에 대한 액세스를 제어하고 정책을 사용하여 작업을 제한할 수 있습니다. IAM에 대한 자세한 내용은 IAM 사용 설명서를 참조하세요.

IAM을 사용하여 서브넷을 생성하고 관리할 수 있는 사람을 제어할 수도 있습니다. 예를 들어 서브넷을 관리하는 IAM 역할과 클러스터를 시작할 수 있지만 Amazon VPC 설정을 수정할 수 없는 두 번째 역할을 생성할 수 있습니다. Amazon EC2 및 Amazon VPC에서 정책 및 작업 관리에 대한 자세한 내용은 Amazon EC2 사용 설명서에서 Amazon EC2에 대한 IAM 정책을 참조하세요.