クラスターを に起動する VPC - Amazon EMR
でEMRクラスターに使用可能な IP アドレスを確認する EC2

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

クラスターを に起動する VPC

Amazon EMRクラスターをホストするようにサブネットを設定したら、クラスターの作成時に関連するサブネット識別子を指定して、そのサブネットでクラスターを起動します。

注記

Amazon は、リリースバージョン 4.2 以降のプライベートサブネットEMRをサポートしています。

クラスターを起動すると、Amazon はクラスターがVPCプライベートサブネットまたはパブリックサブネットで起動されているかどうかに基づいてセキュリティグループEMRを追加します。すべてのセキュリティグループでは、ポート 8443 の進入が Amazon EMRサービスと通信できますが、IP アドレスの範囲はパブリックサブネットとプライベートサブネットで異なります。Amazon はこれらのセキュリティグループをすべてEMR管理し、時間の経過とともに AWS 範囲に IP アドレスを追加する必要がある場合があります。詳細については、「セキュリティグループを使用してネットワークトラフィックを制御する」を参照してください。

でクラスターを管理するためにVPC、Amazon はネットワークデバイスをプライマリノードにEMRアタッチし、このデバイスを介して管理します。Amazon EC2APIアクション を使用して、このデバイスを表示できますDescribeInstances。このデバイスをいずれかの方法で変更すると、クラスターに障害が発生する可能性があります。

Console
コンソールVPCを使用してクラスターを に起動するには

  1. にサインインし AWS Management Console、https://console.aws.amazon.com/emr で Amazon EMRコンソールを開きます。

  2. 左側のナビゲーションペインの EMRでEC2、クラスター を選択し、クラスター の作成 を選択します。

  3. ネットワーク で、仮想プライベートクラウド (VPC） フィールドに移動します。の名前を入力するVPCか、参照を選択して を選択しますVPC。または、Create VPC を選択して、クラスターVPCに使用できる を作成します。

  4. クラスターに適用するその他のオプションを選択します。

  5. クラスターを起動するには、[クラスターの作成] を選択します。

AWS CLI
VPC を使用して にクラスターを起動するには AWS CLI
注記

AWS CLI は、NATインスタンスを自動的に作成してプライベートサブネットに接続する方法を提供しません。ただし、サブネットに S3 エンドポイントを作成するには、Amazon VPC CLI コマンドを使用できます。コンソールを使用してNATインスタンスを作成し、プライベートサブネットでクラスターを起動します。

VPC を設定したら、 --ec2-attributesパラメータで create-clusterサブコマンドを使用して Amazon EMRクラスターを起動できます。--ec2-attributes パラメータを使用して、クラスターのVPCサブネットを指定します。

  • 特定のサブネットにクラスターを作成するには、次のコマンドを入力します。myKey を Amazon EC2キーペアの名前に置き換えます。77XXXX03 サブネット ID を使用します。

    aws emr create-cluster --name "Test cluster" --release-label emr-4.2.0 --applications Name=Hadoop Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey,SubnetId=subnet-77XXXX03 --instance-type m5.xlarge --instance-count 3

    --instance-groups パラメータを使用せずにインスタンス数を指定すると、1 つのプライマリノードが起動され、残りのインスタンスはコアノードとして起動されます。すべてのノードで、コマンドで指定したインスタンスタイプが使用されます。

    注記

    デフォルトの Amazon EMRサービスロールとEC2インスタンスプロファイルを以前に作成していない場合は、create-clusterサブコマンドを入力する前に と入力aws emr create-default-rolesして作成します。

でEMRクラスターに使用可能な IP アドレスを確認する EC2

起動時に十分な空き IP アドレスを持つサブネットが利用可能であることを確認するために、EC2サブネットの選択は IP の可用性をチェックします。作成プロセスでは、必要な数の IP アドレスを持つサブネットを使用して、必要に応じてコアノード、プライマリノード、タスクノードを起動します。これは、最初の作成時にも、クラスターのコアノードのみが作成されます。EMR は、作成時にプライマリノードとタスクノードを起動するために必要な IP アドレスの数と、コアノードを起動するために必要な IP アドレスの数を個別に計算します。必要なプライマリインスタンスとタスクインスタンスまたはノードの最小数は、Amazon によって自動的に決定されますEMR。

重要

に必須ノードIPsに対応できるVPC十分なサブネットがない場合、エラーが返され、クラスターは作成されません。

ほとんどのデプロイケースでは、コアノード、プライマリノード、タスクノードの起動ごとに時間差があります。さらに、複数のクラスターがサブネットを共有することもできます。このような場合、IP アドレスの可用性は変動し、後続のタスクノードの起動は使用可能な IP アドレスによって制限される可能性があります。