翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

による耐障害性関連の Kubernetes ラベル SageMaker HyperPod

ラベルは、Kubernetes オブジェクト に SageMaker HyperPod アタッチされるキーと値のペアです。 は、提供するヘルスチェックに次のラベルを導入します。

ノードのヘルスステータスラベル

node-health-status ラベルは、ノードの状態を表し、正常なノードのノードセレクタフィルターの一部として使用されます。

ディープヘルスチェックラベル

deep-health-check-status ラベルは、特定のノードでのディープヘルスチェックの進行状況を表します。Kubernetes ユーザーが全体的なディープヘルスチェックの進行状況をすばやくフィルタリングするのに役立ちます。

障害タイプと理由ラベル

ファロウイングは、 fault-typeおよび fault-reasonラベルを記述します。

SageMaker HyperPod ラベルの方法

以下のトピックでは、さまざまなケースに応じてラベル付けを行う方法について説明します。

ディープヘルスチェック設定が無効になっている SageMaker HyperPod クラスターにノードが追加された場合

新しいノードがクラスターに追加され、インスタンスグループでディープヘルスチェックが有効になっていない場合、 は Slurm クラスター で現在利用可能なヘルスチェックと同じ SageMaker HyperPod ヘルスチェック SageMaker HyperPod を実行します。

ヘルスチェックに合格すると、ノードは次のラベルでマークされます。

sagemaker.amazonaws.com/node-health-status: Schedulable

ヘルスチェックに合格しない場合、ノードは終了して置き換えられます。この動作は、Slurm クラスターの SageMaker HyperPod ヘルスチェックの仕組みと同じです。

ディープヘルスチェック設定が有効になっている SageMaker HyperPod クラスターにノードが追加された場合

新しいノードが SageMaker HyperPod クラスターに追加され、インスタンスグループに対してディープヘルスチェックテストが有効になっている場合、 HyperPod まずノードを汚染し、ノードで約 2 時間のディープヘルスチェック/ストレステストを開始します。ディープヘルスチェックの後、ノードラベルの出力は 3 つあります。

インスタンスがディープヘルスチェックテストに失敗した場合、インスタンスは常に置き換えられます。ディープヘルスチェックテストが成功すると、ノードのテイントは削除されます。

ノードでコンピューティング障害が発生した場合

また、 SageMaker HyperPod ヘルスモニターエージェントは各ノードのヘルスステータスを継続的にモニタリングします。障害 (GPU障害やドライバーのクラッシュなど) が検出されると、エージェントはノードに次のいずれかのラベルを付けます。

ヘルスモニターエージェントは、ノードのヘルス問題を検出すると、ノードを汚染します。