클러스터를 로 시작 VPC - Amazon EMR
에서 EMR 클러스터에 사용 가능한 IP 주소 확인 EC2

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

클러스터를 로 시작 VPC

Amazon EMR 클러스터를 호스팅하도록 구성된 서브넷이 있으면 클러스터를 생성할 때 연결된 서브넷 식별자를 지정하여 해당 서브넷에서 클러스터를 시작합니다.

참고

Amazon은 릴리스 버전 4.2 이상의 프라이빗 서브넷을 EMR 지원합니다.

클러스터가 시작되면 Amazon은 클러스터가 VPC 프라이빗 또는 퍼블릭 서브넷으로 시작되는지 여부에 따라 보안 그룹을 EMR 추가합니다. 모든 보안 그룹은 포트 8443의 수신이 Amazon EMR 서비스와 통신하도록 허용하지만 IP 주소 범위는 퍼블릭 서브넷과 프라이빗 서브넷에 따라 다릅니다. Amazon은 이러한 모든 보안 그룹을 EMR 관리하므로 시간이 지남에 따라 AWS 범위에 IP 주소를 추가해야 할 수 있습니다. 자세한 내용은 보안 그룹에서 네트워크 트래픽 제어 단원을 참조하십시오.

에서 클러스터를 관리하기 위해 VPCAmazon은 네트워크 디바이스를 기본 노드에 EMR 연결하고 이 디바이스를 통해 관리합니다. Amazon EC2 API 작업 을 사용하여 이 디바이스를 볼 수 있습니다DescribeInstances. 어떤 방법으로든 이 디바이스를 수정할 경우 클러스터가 작동하지 않을 수도 있습니다.

Console
콘솔을 VPC 사용하여 로 클러스터를 시작하려면

  1. 에 로그인 AWS Management Console하고 https://console.aws.amazon.com/emr에서 Amazon EMR 콘솔을 엽니다.

  2. 왼쪽 탐색 창의 EMR 에서 EC2 클러스터 를 선택한 다음 클러스터 생성 을 선택합니다.

  3. 네트워킹에서 Virtual Private Cloud(VPC) 필드로 이동합니다. 의 이름을 입력VPC하거나 찾아보기를 선택하여 를 선택합니다VPC. 또는 생성을 VPC 선택하여 클러스터에 사용할 수 VPC 있는 를 생성합니다.

  4. 클러스터에 적용할 다른 옵션을 선택합니다.

  5. 클러스터를 시작하려면 클러스터 생성을 선택합니다.

AWS CLI
를 VPC 사용하여 로 클러스터를 시작하려면 AWS CLI
참고

AWS CLI 는 NAT 인스턴스를 자동으로 생성하고 프라이빗 서브넷에 연결하는 방법을 제공하지 않습니다. 하지만 서브넷에서 S3 엔드포인트를 생성하려면 Amazon VPC CLI 명령을 사용할 수 있습니다. 콘솔을 사용하여 프라이빗 서브넷에서 NAT 인스턴스를 생성하고 클러스터를 시작합니다.

VPC 가 구성된 후 --ec2-attributes 파라미터와 함께 create-cluster 하위 명령을 사용하여 Amazon EMR 클러스터를 시작할 수 있습니다. --ec2-attributes 파라미터를 사용하여 클러스터의 VPC 서브넷을 지정합니다.

  • 특정 서브넷에서 클러스터를 생성하려면 다음 명령을 입력하고 바꿉니다.myKey Amazon EC2 키 페어의 이름으로 바꾸기 77XXXX03 서브넷 ID를 사용합니다.

    aws emr create-cluster --name "Test cluster" --release-label emr-4.2.0 --applications Name=Hadoop Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey,SubnetId=subnet-77XXXX03 --instance-type m5.xlarge --instance-count 3

    --instance-groups 파라미터를 사용하지 않고 인스턴스 수를 지정하면 단일 프라이머리 노드가 시작되고 나머지 인스턴스는 코어 노드로 시작됩니다. 모든 노드에는 이 명령에 지정된 인스턴스 유형이 사용됩니다.

    참고

    이전에 기본 Amazon EMR 서비스 역할 및 EC2 인스턴스 프로파일을 생성하지 않은 경우 create-cluster 하위 명령을 입력하기 전에 aws emr create-default-roles를 입력하여 생성합니다.

에서 EMR 클러스터에 사용 가능한 IP 주소 확인 EC2

시작할 때 충분한 여유 IP 주소가 있는 서브넷을 사용할 수 있도록 EC2 서브넷 선택은 IP 가용성을 확인합니다. 생성 프로세스는 필요한 IP 주소 수가 포함된 서브넷을 사용하여 코어, 기본 및 작업 노드를 필요에 따라 시작합니다. 최초 생성 시 클러스터의 코어 노드만 생성됩니다. EMR 는 생성 중에 기본 및 태스크 노드를 시작하는 데 필요한 IP 주소 수를 확인하고 코어 노드를 시작하는 데 필요한 IP 주소 수를 별도로 계산합니다. 필요한 기본 및 태스크 인스턴스 또는 노드의 최소 수는 Amazon 에서 자동으로 결정합니다EMR.

중요

에 필수 노드를 수용할 수 IPs 있는 서브넷VPC이 충분하지 않으면 오류가 반환되고 클러스터가 생성되지 않습니다.

대부분의 배포 사례에서는 코어, 기본 및 태스크 노드의 각 시작 간에 시간 차이가 있습니다. 또한 여러 클러스터가 서브넷을 공유할 수 있습니다. 이러한 경우 IP 주소 가용성이 변동될 수 있으며 사용 가능한 IP 주소로 인해 후속 태스크 노드 시작이 제한될 수 있습니다.