Amazon EMR クラスターエラー: HDFS insufficient space error
コアノードを削除しようとすると、Hadoop 分散ファイルシステム (HDFS) のスペース不足エラーが発生する可能性がありますが、HDFS にスペースが不足しているため、Amazon EMR は安全にオペレーションを完了できません。Amazon EMR がコアノードを削除する前に、ノード上のすべての HDFS データを他のコアノードに転送して、データの冗長性を確保する必要があります。ただし、他のコアノードにレプリケーション用の十分なスペースがない場合、Amazon EMR はノードを正常に廃止できません。
考えられる原因
HDFS スペース不足エラーの考えられる原因のリストについては、以下を参照してください。
-
スケールダウン前に残りのノードにデータレプリケーション用の十分な HDFS スペースがない場合に、コアインスタンスグループまたはインスタンスフリートを手動でスケールダウンする場合。
-
マネージドスケーリングまたは自動スケーリングは、データレプリケーションに十分な HDFS スペースがない場合に、コアインスタンスグループまたはインスタンスフリートをスケールダウンした場合。
-
Amazon EMR が異常なコアノードを置き換えようとしますが、HDFS スペースが不足しているため、ノードを安全に置き換えることができない場合。
ソリューションとベストプラクティス
ソリューションとベストプラクティスについては、以下を参照してください。
-
Amazon EMR クラスター内のコアノードの数をスケールアップします。マネージドスケーリングまたは自動スケーリングを使用する場合は、コアノードの最小容量を増やします。
-
EMR クラスターを作成するときは、コアノードにより大きな EBS ボリュームを使用します。
-
EMR クラスター内の不要な HDFS データを削除します。EMR クラスターの容量が少ないかどうかを確認するために、クラスター内の
HDFSUtilizationメトリクスをモニタリングするように CloudWatch アラームを設定することをお勧めします。
