複数のプライマリノードを持つ Amazon EMRクラスターを作成する際の考慮事項とベストプラクティス

インスタンスフリートの高可用性は、Amazon EMRリリース 5.36.1、5.36.2、6.8.1、6.9.1、6.10.1、6.11.1、6.12.0 以降でサポートされています。インスタンスグループの場合、高可用性は Amazon EMRリリース 5.23.0 以降でサポートされています。詳細については、「Amazon EMRリリースについて」を参照してください。

高可用性クラスターでは、Amazon はオンデマンドインスタンスを使用したプライマリノードの起動EMRのみをサポートします。これにより、クラスターの可用性を最大限に高めることができます。

プライマリフリートには引き続き複数のインスタンスタイプを指定できますが、高可用性クラスターのすべてのプライマリノードは、異常のあるプライマリノードの代替を含め、同じインスタンスタイプで起動されます。

運用を継続するには、複数のプライマリノードがある高可用性クラスターの 3 つのプライマリノードのうちの 2 つが正常である必要があります。その結果、2 つのプライマリノードが同時に失敗すると、EMRクラスターは失敗します。

高可用性EMRクラスターを含むすべてのクラスターは、単一のアベイラビリティーゾーンで起動されます。そのため、可用性ゾーンの障害に対する耐性がありません。可用性ゾーンが停止した場合、クラスターへのアクセスは失われます。

を使用する場合 インスタンスフリート内でクラスターを起動するときにカスタムサービスロールまたはポリシーを使用している場合は、Amazon がサポートされていないアベイラビリティーゾーン (AZ) EMRを除外できるように アクセスec2:DescribeInstanceTypeOfferings許可を追加できます。Amazon AZsがプライマリノードのインスタンスタイプをサポートしていない EMRを除外すると、Amazon はサポートされていないプライマリインスタンスタイプが原因でクラスターの起動が失敗するのEMRを防ぎます。詳細については、「Instance type not supported」を参照してください。

Amazon EMRは、 で指定されているもの以外のオープンソースアプリケーションの高可用性を保証しません複数のプライマリノードを持つ Amazon EMR クラスターでサポートされているアプリケーション。

Amazon EMRリリース 5.23.0 から 5.36.2 では、インスタンスグループクラスターの 3 つのプライマリノードのうち 2 つだけが実行されます。HDFS NameNode.

Amazon EMRリリース 6.x 以降では、インスタンスグループの 3 つのプライマリノードすべてが実行されます。HDFS NameNode.

複数のプライマリノードを持つ Amazon EMRクラスターは、1 つのアベイラビリティーゾーンまたはサブネットにのみ存在できます。フェイルオーバー時にサブネットが完全に利用されているか、オーバーサブスクライブされている場合、Amazon は障害が発生したプライマリノードを置き換えEMRることができません。このシナリオを回避するには、サブネット全体を Amazon EMRクラスター専用にすることをお勧めします。さらに、サブネットで利用できる十分なプライベート IP アドレスがあることを確認します。

コアノードの高可用性も維持するには、少なくとも 4 つのコアノードを起動することをお勧めします。3 つ以下のコアノードを持つ小さなクラスターを起動する場合は、 2が十分なDFSレプリケーションを持つHDFSように、 を少なくとも dfs.replication parameterに設定します。詳細については、「 HDFS設定」を参照してください。

Amazon EMR は、 HDFSまたは に関するアプリケーション固有のメトリクスを提供しませんYARN。アラームを設定して、プライマリノードのインスタンス数をモニタリングすることをお勧めします。、MultiMasterInstanceGroupNodesRunning、または の Amazon CloudWatch メトリクスを使用してアラームを設定しますMultiMasterInstanceGroupNodesRequested。プライマリノードに障害や交換が発生した場合はMultiMasterInstanceGroupNodesRunningPercentage、 CloudWatch から通知されます。

詳細については、「メトリクスでアラームを設定する」を参照してください。