インスタンスフリートまたはユニフォームインスタンスグループで Amazon EMR クラスターを作成する

クラスターを作成して、プライマリノード、コアノード、およびタスクノードの構成を指定するとき、2 つの構成オプションがあります。インスタンスフリートまたはユニフォームインスタンスグループ を使用できます。選択する構成オプションは、すべてのノードに適用されます。クラスターの使用期間にわたり適用され、インスタンスフリートとインスタンスグループはクラスター内で共存できません。インスタンスフリート設定は、5.0.xバージョンを除き、Amazon EMR のバージョン 4.8.0 以降で利用できます。

Amazon EMR コンソール、AWS CLI、または Amazon EMR API を使用して、いずれかの設定のクラスターを作成できます。AWS CLI から create-cluster コマンドを使用するとき、--instance-fleets パラメータでインスタンスフリートを使用してクラスターを作成するか、--instance-groups パラメータでユニフォームインスタンスグループを使用してクラスターを作成します。

Amazon EMR API を使用する場合も同じです。構成を使用して InstanceGroups オブジェクトの配列を指定するか、 InstanceGroupConfig 構成を使用して、 InstanceFleets オブジェクトの配列を指定します InstanceFleetConfig 。

新しい Amazon EMR コンソールでは、クラスターを作成するときにインスタンスグループまたはインスタンスフリートのいずれかを使用することを選択できます。また、それぞれにスポットインスタンスを使用するオプションもあります。古い Amazon EMR コンソールで、クラスターを作成するときにデフォルトの [クイックオプション] 設定を使用する場合、Amazon EMR は、ユニフォームインスタンスグループ設定をクラスターに適用し、オンデマンドインスタンスを使用します。ユニフォームインスタンスグループでスポットインスタンスを使用するか、インスタンスフリートと他のカスタマイゼーションを構成するには、[Advanced Options (詳細オプション)] を選択します。

インスタンスフリート

インスタンスフリート設定により、Amazon EC2 インスタンスのプロビジョニングオプションは非常に広範になります。各ノードタイプには 1 つのインスタンスフリートがあり、タスクインスタンスフリートの使用はオプションです。AWS CLI または Amazon EMR API およびオンデマンドインスタンスまたはスポットインスタンスの配分戦略を使用してクラスターを作成する場合、フリートあたり最大 5 つの EC2 インスタンスタイプ、またはフリートあたり 30 の EC2 インスタンスタイプを指定できます。コアインスタンスフリートとタスクインスタンスフリートの場合、オンデマンドインスタンスにターゲット容量を割り当て、スポットインスタンスには別の容量を割り当てます。Amazon EMR は、ターゲット容量を達成するために指定されたインスタンスタイプの組み合わせを選択し、オンデマンドインスタンスとスポットインスタンスの両方をプロビジョニングします。

プライマリノードタイプについては、Amazon EMR はインスタンスのリストから 1 つのインスタンスタイプを選択します。オンデマンドインスタンスまたはスポットインスタンスのどちらとしてプロビジョニングするかを指定してください。インスタンスフリートでも、スポットインスタンスおよびオンデマンド購入の追加のオプションが提供されます。スポットインスタンスオプションには、スポット容量をプロビジョニングできない場合のアクションを指定するタイムアウトや、スポットインスタンスフリートを起動するための優先配分戦略 (容量最適化) が含まれます。オンデマンドインスタンスフリートは、配分戦略 (最低料金) オプションを使用して起動することもできます。EMR のデフォルトのサービスロールではないサービスロールを使用する場合、またはサービスロールで EMR 管理ポリシーを使用する場合は、配分戦略オプションを有効にするために、カスタムクラスタサービスロールにアクセス許可を追加する必要があります。詳細については、「Amazon EMR のサービスロール (EMR ロール)」を参照してください。

インスタンスフリートの設定の詳細については、「Amazon EMR クラスターのインスタンスフリートの計画と設定」を参照してください。

ユニフォームインスタンスグループ

ユニフォームインスタンスグループは、インスタンスフリートよりも簡単なセットアップを提供します。各 Amazon EMR クラスターは、1 つの Amazon EC2 インスタンスを含む 1 つのプライマリインスタンスグループ、1 つ以上の EC2 インスタンスを含むコアインスタンスグループ、および最大 48 オプションのタスクインスタンスグループから成る、最大 50 のインスタンスグループを含む可能性があります。コアインスタンスグループおよびタスクインスタンスグループはそれぞれ、任意の数の Amazon EC2 インスタンスを含むことができます。手動で Amazon EC2 インスタンスを追加または削除して各インスタンスグループをスケールするか、オートスケーリングを設定することもできます。インスタンスの追加および削除の詳細については、「 Amazon EMR クラスタースケーリングを使用してワークロードの変化に適応する」を参照してください。

ユニフォームインスタンスグループの構成の詳細については、「 Amazon EMR クラスターのユニフォームインスタンスグループを設定する」を参照してください。

インスタンスフリートとインスタンスグループの操作