クラスターのインスタンスフリートの計画と設定

Amazon EMRクラスターのインスタンスフリート設定を使用すると、Amazon EC2インスタンスのさまざまなプロビジョニングオプションを選択でき、クラスター内のノードタイプごとに柔軟で伸縮自在なリソース戦略を開発できます。

インスタンスフリート設定では、各フリート内のオンデマンドインスタンスおよびスポットインスタンスのターゲット容量を指定します。クラスターが起動すると、Amazon はターゲットが満たされるまでインスタンスをEMRプロビジョニングします。料金の引き上げまたはインスタンスの障害により、Amazon が実行中のクラスターでスポットインスタンスをEC2再利用すると、Amazon EMR はインスタンスを指定したインスタンスタイプに置き換えようとします。これにより、スポット料金の急激な増加中に容量を再取得することが容易になります。

ターゲットを達成するEMRときに使用する Amazon のフリートごとに最大 5 つの Amazon EC2インスタンスタイプ、または を使用してクラスターを作成するときにフリートごとに最大 30 の Amazon EC2インスタンスタイプを指定できます。 AWS CLI または Amazon EMRAPIと、オンデマンドインスタンスとスポットインスタンスの配分戦略。

また、異なるアベイラビリティーゾーンに複数のサブネットを選択することもできます。Amazon がクラスターEMRを起動すると、これらのサブネットを検索して、指定したインスタンスと購入オプションを検索します。Amazon が EMRを検出した場合 AWS 1 つ以上のアベイラビリティーゾーンの大規模なイベントの場合、Amazon EMRは影響を受けたアベイラビリティーゾーンからトラフィックをルーティングし、選択に応じて代替アベイラビリティーゾーンで作成した新しいクラスターを起動しようとします。クラスターのアベイラビリティーゾーンの選択はクラスターの作成時にのみ行われることに注意してください。アベイラビリティーゾーンが停止しても、既存のクラスターノードは新しいアベイラビリティーゾーンで自動的に再起動されません。

インスタンスフリートの使用に関する考慮事項

Amazon でインスタンスフリートを使用する場合は、次の項目を考慮してくださいEMR。

インスタンスフリートオプション

次のガイドラインを使用して、インスタンスフリートオプションについて理解してください。

ターゲット容量の設定

コアフリートとタスクフリートのターゲット容量を指定します。これを行うと、Amazon がEMRプロビジョニングするオンデマンドインスタンスとスポットインスタンスの数を決定します。インスタンスを指定するときは、ターゲットに対してカウントされる各インスタンスの数を決定します。オンデマンドインスタンスがプロビジョニングされると、オンデマンドターゲットに対してカウントされます。スポットインスタンスの場合も同様です。プライマリフリートはコアフリートやタスクフリートとは異なり、常に 1 つのインスタンスです。したがって、このフリートのターゲット容量は常に 1 になります。

コンソールを使用する場合、 vCPUs Amazon EC2インスタンスタイプの がデフォルトでターゲット容量の数として使用されます。これを汎用ユニット に変更し、EC2インスタンスタイプごとにカウントを指定できます。を使用する場合 AWS CLIでは、インスタンスタイプごとに汎用ユニットを手動で割り当てます。

フリートごとに、最大 5 つの Amazon EC2インスタンスタイプを指定します。を使用してクラスターインスタンスフリートの配分戦略を作成する場合 AWS CLI または Amazon EMR ではAPI、EC2インスタンスフリートごとに最大 30 個のインスタンスタイプを指定できます。Amazon は、ターゲット容量を満たすために、これらのEC2インスタンスタイプの任意の組み合わせEMRを選択します。Amazon EMRはターゲット容量を完全に埋めたいため、超過が発生する可能性があります。例えば、未完了のユニットが 2 つあり、Amazon が 5 ユニットの数しかインスタンスをプロビジョニングEMRできない場合、インスタンスは引き続きプロビジョニングされます。つまり、ターゲット容量は 3 ユニット超過します。

実行中のクラスターのサイズを変更するためにターゲット容量を減らすと、Amazon はアプリケーションタスクを完了EMRしようとし、新しいターゲットを満たすためにインスタンスを終了します。詳細については、「タスクの完了時に終了」を参照してください。

起動オプション

スポットインスタンスでは、フリート内のインスタンスタイプごとに最大スポット料金を指定できます。この料金は、オンデマンド料金のパーセンテージまたは特定の金額として設定できます。アベイラビリティーゾーンの現在のスポット料金が最大スポット料金を下回ると、Amazon はスポットインスタンスをEMRプロビジョニングします。お客様にご負担いただくのはスポット料金であり、必ずしも最大スポット料金ではありません。

Amazon 5EMR.12.1 以降では、容量割り当てが最適化されたスポットインスタンスフリートとオンデマンドインスタンスフリートを起動するオプションがあります。この配分戦略オプションは、古い AWS Management Console または API の使用RunJobFlow。新しいコンソールでは配分戦略をカスタマイズできないことに注意してください。配分戦略オプションを使用するには、追加のサービスロールのアクセス許可が必要です。クラスターにデフォルトの Amazon EMRサービスロールと管理ポリシー (EMR_DefaultRole と AmazonEMRServicePolicy_v2) を使用する場合、割り当て戦略オプションのアクセス許可は既に含まれています。デフォルトの Amazon EMRサービスロールと 管理ポリシーを使用していない場合は、このオプションを使用するにはそれらを追加する必要があります。「Amazon のサービスロール EMR (EMR ロール）」を参照してください。

スポットインスタンスの詳細については、「Amazon EC2ユーザーガイド」の「スポットインスタンス」を参照してください。オンデマンドインスタンスの詳細については、「Amazon EC2ユーザーガイド」の「オンデマンドインスタンス」を参照してください。

最低料金配分戦略を使用してオンデマンドインスタンスフリートを起動する場合は、キャパシティ予約を使用するオプションがあります。キャパシティ予約オプションは、Amazon EMR API を使用して設定できますRunJobFlow。キャパシティ予約では、これらのオプションを使用するためにサービスロールのアクセス許可を追加する必要があります。「配分戦略のアクセス許可」を参照してください。新しいコンソールではキャパシティ予約をカスタマイズできないことに注意してください。

複数サブネット (アベイラビリティーゾーン) オプション

インスタンスフリートを使用する場合、 内で複数の Amazon EC2サブネットを指定できます。VPCそれぞれが異なるアベイラビリティーゾーンに対応します。EC2-Classic を使用する場合は、アベイラビリティーゾーンを明示的に指定します。Amazon EMRは、フリートの仕様に従ってインスタンスを起動するための最適なアベイラビリティーゾーンを特定します。インスタンスは、１ つのアベイラビリティーゾーンのみで常にプロビジョニングされます。プライベートサブネットまたはパブリックサブネットを選択できますが、この 2 つを混在させることはできません。また、指定するサブネットは同じ 内にある必要がありますVPC。

マスターノードの設定

プライマリインスタンスフリートは単一インスタンスにすぎないため、その構成はコアインスタンスフリートとタスクインスタンスフリートとは多少異なります。プライマリインスタンスフリートは 1 つのみのインスタンスで構成されているため、プライマリインスタンスフリートにはオンデマンドまたはスポットのいずれかを選択します。コンソールを使用してインスタンスフリートを作成する場合、選択する購入オプションのターゲット容量は 1 に設定されます。を使用する場合 AWS CLI、必要に応じて常に TargetSpotCapacityまたは のいずれかTargetOnDemandCapacityを 1 に設定します。この場合もプライマリインスタンスフリートには、最大 5 つのインスタンスタイプを選択できます (オンデマンドインスタンスまたはスポットインスタンスの配分戦略を使用する場合は、最大 30)。ただし、Amazon が異なるタイプの複数のインスタンスをプロビジョニングEMRする可能性のあるコアインスタンスフリートやタスクインスタンスフリートとは異なり、Amazon はプライマリインスタンスフリートにプロビジョニングする単一のインスタンスタイプEMRを選択します。

インスタンスフリートの配分戦略

Amazon EMRバージョン 5.12.1 以降では、各クラスターノードのオンデマンドインスタンスとスポットインスタンスで配分戦略オプションを使用できます。を使用してクラスターを作成する場合 AWS CLI、Amazon EMR API、または 配分戦略を使用する Amazon EMRコンソールでは、フリートごとに最大 30 の Amazon EC2インスタンスタイプを指定できます。デフォルトの Amazon EMRクラスターインスタンスフリート設定では、フリートごとに最大 5 つのインスタンスタイプを設定できます。クラスターのプロビジョニングにかかる時間が短縮され、スポットインスタンスの割り当てがより正確になり、スポットインスタンスの中断が低減するように、配分戦略オプションを使用することをお勧めします。

オンデマンドインスタンスの配分戦略

オンデマンドインスタンスでは、次の配分戦略を使用できます。

スポットインスタンスの配分戦略

スポットインスタンスには次のいずれかの配分戦略を指定できます。

配分戦略のアクセス許可

配分戦略オプションには、デフォルトの Amazon EMRサービスロールと Amazon EMR管理ポリシー (EMR_DefaultRole および ) に自動的に含まれる複数のIAMアクセス許可が必要ですAmazonEMRServicePolicy_v2。クラスターにカスタムサービスロールまたは管理ポリシーを使用する場合は、クラスターを作成する前にこれらのアクセス許可を追加する必要があります。詳細については、「配分戦略のアクセス許可」を参照してください。

オンデマンド配分戦略オプションを使用すると、オプションのオンデマンドキャパシティ予約 (ODCRs) を使用できます。キャパシティ予約オプションを使用すると、Amazon EMRクラスターで最初にリザーブドキャパシティを使用する設定を指定できます。これを使用して、重要なワークロードが、オープンまたはターゲットの を使用して既に予約した容量を使用していることを確認することができますODCRs。重要でないワークロードの場合、キャパシティ予約設定を使用して、リザーブドキャパシティを消費するかどうかを指定できます。

キャパシティ予約は、属性 (インスタンスタイプ、プラットフォーム、アベイラビリティーゾーン) が一致するインスタンスのみ使用することができます。デフォルトでは、オープンキャパシティ予約は、インスタンス属性に一致するオンデマンドインスタンスをプロビジョニングEMRするときに Amazon によって自動的に使用されます。キャパシティの予約の属性と一致する実行中のインスタンスがない場合は、一致する属性を持つインスタンスを起動するまでは使用されません。クラスターの起動時にキャパシティ予約を使用しない場合は、起動オプションでキャパシティ予約設定を [なし] に設定する必要があります。

ただし、特定のワークロードに対してキャパシティ予約を指定することもできます。これにより、リザーブドキャパシティーで実行できるインスタンスを明示的に制御できます。オンデマンドキャパシティ予約については、「インスタンスフリートでキャパシティ予約を使用する」を参照してください。

配分戦略に必要なIAMアクセス許可

Amazon のサービスロール EMR (EMR ロール） では、オンデマンドインスタンスフリートまたはスポットインスタンスフリートの配分戦略オプションを使用するクラスターを作成するには、追加のアクセス許可が必要です。

これらのアクセス許可は、デフォルトの Amazon EMRサービスロール EMR_DefaultRole と Amazon EMR管理ポリシー に自動的に含められますAmazonEMRServicePolicy_v2。

クラスターにカスタムサービスロールまたは管理ポリシーを使用する場合は、次のアクセス許可を追加する必要があります。

{
	"Version": "2012-10-17",
	"Statement": [
		{
			"Effect": "Allow",
			"Action": [
				"ec2:DeleteLaunchTemplate",
				"ec2:CreateLaunchTemplate",
				"ec2:DescribeLaunchTemplates",
				"ec2:CreateLaunchTemplateVersion",
				"ec2:CreateFleet"
			],
			"Resource": "*"
		}
}

オープンまたはターゲットのキャパシティ予約を使用するクラスターを作成するために必要なサービスロールのアクセス許可を次に示します。配分戦略オプションの使用に必要なアクセス許可に加えて、これらのアクセス許可を含める必要があります。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ec2:DescribeCapacityReservations",
                "ec2:DescribeLaunchTemplateVersions",
                "ec2:DeleteLaunchTemplateVersions"
            ],
            "Resource": "*"
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ec2:DescribeCapacityReservations",
                "ec2:DescribeLaunchTemplateVersions",
                "ec2:DeleteLaunchTemplateVersions",
                "resource-groups:ListGroupResources"
            ],
            "Resource": "*"
        }
    ]
}

クラスターのインスタンスフリートを設定する

例: インスタンスフリート設定でクラスターを作成する

次の例は、 create-cluster コマンドを、組み合わせ可能なさまざまなオプションを使って実行する方法を示しています。

aws emr create-cluster --release-label emr-5.3.1 --service-role EMR_DefaultRole \
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \
  --instance-fleets \
    InstanceFleetType=MASTER,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge}'] \
    InstanceFleetType=CORE,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge}']

aws emr create-cluster --release-label emr-5.3.1 --service-role EMR_DefaultRole \
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \
  --instance-fleets \
    InstanceFleetType=MASTER,TargetSpotCapacity=1,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5}'] \
    InstanceFleetType=CORE,TargetSpotCapacity=1,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5}']

aws emr create-cluster --release-label emr-5.3.1 --service-role EMR_DefaultRole \
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole,SubnetIds=['subnet-ab12345c'] \
  --instance-fleets \
    InstanceFleetType=MASTER,TargetOnDemandCapacity=1,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge}'] \
    InstanceFleetType=CORE,TargetOnDemandCapacity=2,TargetSpotCapacity=6,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5,WeightedCapacity=2}']

aws emr create-cluster --release-label emr-5.3.1 --service-role EMR_DefaultRole \
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole,SubnetIds=['subnet-ab12345c','subnet-de67890f'] \
  --instance-fleets \
    InstanceFleetType=MASTER,TargetOnDemandCapacity=1,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge}'] \
    InstanceFleetType=CORE,TargetSpotCapacity=11,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5,WeightedCapacity=3}',\
'{InstanceType=m4.2xlarge,BidPrice=0.9,WeightedCapacity=5}'],\
LaunchSpecifications={SpotSpecification='{TimeoutDurationMinutes=120,TimeoutAction=SWITCH_TO_ON_DEMAND}'}

aws emr create-cluster --release-label emr-5.3.1 --service-role EMR_DefaultRole \
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole,SubnetIds=['subnet-ab12345c','subnet-de67890f'] \
  --instance-fleets \
    InstanceFleetType=MASTER,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge}'] \
    InstanceFleetType=CORE,TargetOnDemandCapacity=8,TargetSpotCapacity=6,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5,WeightedCapacity=3}',\
'{InstanceType=m4.2xlarge,BidPrice=0.9,WeightedCapacity=5}'],\
LaunchSpecifications={SpotSpecification='{TimeoutDurationMinutes=120,TimeoutAction=SWITCH_TO_ON_DEMAND}'} \
    InstanceFleetType=TASK,TargetOnDemandCapacity=3,TargetSpotCapacity=3,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5,WeightedCapacity=3}']

aws emr create-cluster --release-label Amazon EMR 5.3.1 --service-role EMR_DefaultRole \ 
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \
  --instance-fleets \
    InstanceFleetType=MASTER,TargetSpotCapacity=1,\
LaunchSpecifications={SpotSpecification='{TimeoutDurationMinutes=60,TimeoutAction=TERMINATE_CLUSTER}'},\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5,\
EbsConfiguration={EbsOptimized=true,EbsBlockDeviceConfigs=[{VolumeSpecification={VolumeType=gp2,\
SizeIn GB=100}},{VolumeSpecification={VolumeType=io1,SizeInGB=100,Iop s=100},VolumesPerInstance=4}]}}']		

aws emr create-cluster --release-label Amazon EMR 5.3.1 --service-role EMR_DefaultRole \
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \
  --instance-fleets \
    InstanceFleetType=MASTER,TargetOnDemandCapacity=1,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-123456},{InstanceType=m6g.xlarge, CustomAmiId=ami-234567}'] \ 
    InstanceFleetType=CORE,TargetOnDemandCapacity=1,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-123456},{InstanceType=m6g.xlarge, CustomAmiId=ami-234567}']

aws emr add-instance-fleet --cluster-id j-123456 --release-label Amazon EMR 5.3.1 \
  --service-role EMR_DefaultRole \
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \
  --instance-fleet \
    InstanceFleetType=Task,TargetSpotCapacity=1,\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-123456}',\
'{InstanceType=m6g.xlarge,CustomAmiId=ami-234567}']

aws emr create-cluster --release-label emr-5.30.0 --service-role EMR_DefaultRole \
--ec2-attributes InstanceProfile=EMR_EC2_DefaultRole \
--instance-fleets file://my-fleet-config.json

[
    {
        "Name": "Masterfleet",
        "InstanceFleetType": "MASTER",
        "TargetSpotCapacity": 1,
        "LaunchSpecifications": {
            "SpotSpecification": {
                "TimeoutDurationMinutes": 120,
                "TimeoutAction": "SWITCH_TO_ON_DEMAND"
            }
        },
        "InstanceTypeConfigs": [
            {
                "InstanceType": "m5.xlarge",
                "BidPrice": "0.89"
            }
        ]
    },
    {
        "Name": "Corefleet",
        "InstanceFleetType": "CORE",
        "TargetSpotCapacity": 1,
        "TargetOnDemandCapacity": 1,
        "LaunchSpecifications": {
          "OnDemandSpecification": {
            "AllocationStrategy": "lowest-price",
            "CapacityReservationOptions": 
            {
                "UsageStrategy": "use-capacity-reservations-first",
                "CapacityReservationResourceGroupArn": "String"
            }
        },
            "SpotSpecification": {
                "AllocationStrategy": "capacity-optimized",
                "TimeoutDurationMinutes": 120,
                "TimeoutAction": "TERMINATE_CLUSTER"
            }
        },
        "InstanceTypeConfigs": [
            {
                "InstanceType": "m5.xlarge",
                "BidPriceAsPercentageOfOnDemandPrice": 100
            }
        ]
    },
    {
        "Name": "Taskfleet",
        "InstanceFleetType": "TASK",
        "TargetSpotCapacity": 1,
        "LaunchSpecifications": {
          "OnDemandSpecification": {
            "AllocationStrategy": "lowest-price",
            "CapacityReservationOptions": 
            {
                "CapacityReservationPreference": "none"
            }
        },
            "SpotSpecification": {
                "TimeoutDurationMinutes": 120,
                "TimeoutAction": "TERMINATE_CLUSTER"
            }
        },
        "InstanceTypeConfigs": [
            {
                "InstanceType": "m5.xlarge",
                "BidPrice": "0.89"
            }
        ]
    }
]

インスタンスフリートのターゲット容量を変更する

コマンドを使用して、インスタンスフリートの新しいターゲット容量を指定します modify-instance-fleet 。クラスター ID とインスタンスフリート ID を指定しなければなりません。list-instance-fleets コマンドを使用して、インスタンスフリート を取得しますIDs。

aws emr modify-instance-fleet --cluster-id <cluster-id> \
  --instance-fleet \
    InstanceFleetId='<instance-fleet-id>',TargetOnDemandCapacity=1,TargetSpotCapacity=1			

タスクインスタンスフリートをクラスターに追加する

クラスターにプライマリインスタンスフリートおよびコアインスタンスフリートしかない場合、add-instance-fleet コマンドを使用してタスクインスタンスフリートを追加できます。このコマンドは、タスクインスタンスフリートを追加するためだけに使用できます。

aws emr add-instance-fleet --cluster-id <cluster-id> 
  --instance-fleet \
    InstanceFleetType=TASK,TargetSpotCapacity=1,\
LaunchSpecifications={SpotSpecification='{TimeoutDurationMinutes=20,TimeoutAction=TERMINATE_CLUSTER}'},\
InstanceTypeConfigs=['{InstanceType=m5.xlarge,BidPrice=0.5}']				

クラスター内のインスタンスフリートの設定情報を取得する

クラスター内のインスタンスフリートの構成情報を得るには、 list-instance-fleets コマンドを使用します。コマンドは、クラスター ID を入力として受け入れます。次の例では、このコマンドと、それによるプライマリタスクインスタンスグループとコアタスクインスタンスグループを含むクラスターの出力を示しています。完全なレスポンス構文については、「Amazon リファレンスListInstanceFleets」の「」を参照してください。 EMR API

list-instance-fleets --cluster-id <cluster-id>			

{
    "InstanceFleets": [
        {
            "Status": {
                "Timeline": {
                    "ReadyDateTime": 1488759094.637,
                    "CreationDateTime": 1488758719.817
                },
                "State": "RUNNING",
                "StateChangeReason": {
                    "Message": ""
                }
            },
            "ProvisionedSpotCapacity": 6,
            "Name": "CORE",
            "InstanceFleetType": "CORE",
            "LaunchSpecifications": {
                "SpotSpecification": {
                    "TimeoutDurationMinutes": 60,
                    "TimeoutAction": "TERMINATE_CLUSTER"
                }
            },
            "ProvisionedOnDemandCapacity": 2,
            "InstanceTypeSpecifications": [
                {
                    "BidPrice": "0.5",
                    "InstanceType": "m5.xlarge",
                    "WeightedCapacity": 2
                }
            ],
            "Id": "if-1ABC2DEFGHIJ3"
        },
        {
            "Status": {
                "Timeline": {
                    "ReadyDateTime": 1488759058.598,
                    "CreationDateTime": 1488758719.811
                },
                "State": "RUNNING",
                "StateChangeReason": {
                    "Message": ""
                }
            },
            "ProvisionedSpotCapacity": 0,
            "Name": "MASTER",
            "InstanceFleetType": "MASTER",
            "ProvisionedOnDemandCapacity": 1,
            "InstanceTypeSpecifications": [
                {
                    "BidPriceAsPercentageOfOnDemandPrice": 100.0,
                    "InstanceType": "m5.xlarge",
                    "WeightedCapacity": 1
                }
            ],
           "Id": "if-2ABC4DEFGHIJ4"
        }
    ]
}