Amazon SageMaker HyperPod リリースノート

に Amazon EKS サポートを追加しました SageMaker HyperPod。詳細については、「Amazon による SageMaker HyperPod クラスターのオーケストレーション EKS」を参照してください。

NVIDIA ドライバー v550.90.07 をインストールしました

EFA ドライバー v2.10 をインストールしました

AWS Neuron の最新バージョンをインストールしました SDK

SageMaker HyperPod 自動再開機能 を強化し、Generic RESources () にアタッチされた Slurm ノードの耐障害性機能を拡張しましたGRES。

汎用リソース (GRES） が Slurm ノードにアタッチされている場合、Slurm は通常、ノードの置き換えなど、ノード割り当ての変更を許可しないため、失敗したジョブを再開することはできません。明示的に禁止されていない限り、 HyperPod自動再開機能は、 GRESが有効なノードに関連付けられた障害のあるジョブを自動的に再キューに入れます。このプロセスでは、ジョブを停止し、ジョブキューに戻し、最初からジョブを再起動します。

slurmrestd でパッケージ化されています SageMaker HyperPod AMI。

システムの応答性とジョブ処理を向上させるslurm.confため、 ResumeTimeoutと のデフォルト値を 60 秒UnkillableStepTimeoutから 300 秒に変更しました。

NVIDIA Data Center GPU Manager (DCGM) と NVIDIA System Management Interface (nvidia-smi) のヘルスチェックを少し改善しました。

HyperPod 自動再開プラグインは、アイドルノードを使用してジョブを再開できます。

次のコマンドを実行して を呼び出しUpdateClusterSoftwareAPI、既存の HyperPodクラスターを最新の で更新します HyperPod DLAMI。手順の詳細については、「」を参照してくださいクラスターの SageMaker HyperPod プラットフォームソフトウェアを更新する。

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

SageMaker HyperPod クラスターインスタンスに追加ストレージをアタッチする新しい機能を追加しました。この機能を使用すると、 SageMaker HyperPod コンソールまたは CreateClusterおよび UpdateCluster を使用して、クラスターの作成または更新プロセス中にインスタンスグループ設定レベルで補足ストレージを設定できますAPIs。追加EBSボリュームは SageMaker HyperPod クラスター内の各インスタンスにアタッチされ、 にマウントされます/opt/sagemaker。 SageMaker HyperPod クラスターへの実装の詳細については、以下のページの更新されたドキュメントを参照してください。

この機能を使用するには、 HyperPod クラスターソフトウェアを更新する必要があることに注意してください。 HyperPod クラスターソフトウェアにパッチを適用した後、新しいインスタンスグループを追加することで、2024 年 6 月 20 日より前に作成された既存の SageMaker HyperPod クラスターにこの機能を使用できます。この機能は、2024 年 6 月 20 日以降に作成されたすべての SageMaker HyperPod クラスターに対して完全に有効です。

次のコマンドを実行して を呼び出しUpdateClusterSoftwareAPI、既存の HyperPodクラスターを最新の で更新します HyperPod DLAMI。手順の詳細については、「」を参照してくださいクラスターの SageMaker HyperPod プラットフォームソフトウェアを更新する。

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

の ThreadsPerCoreパラメータでバグを修正ClusterInstanceGroupSpecificationしましたAPI。修正により、 CreateCluster と は を通じてユーザー入力UpdateClusterAPIsを適切に取得して適用しますThreadsPerCore。この修正は、2024 年 4 月 24 日以降に作成された HyperPod クラスターに対して有効です。このバグに問題があり、この修正をクラスターに適用したい場合は、新しいクラスターを作成する必要があります。の手順に従って、新しいクラスターに移動しながら、作業をバックアップおよび復元してくださいが提供するバックアップスクリプトを使用する SageMaker HyperPod。

のこのリリースでは HyperPod DLAMI、Slurm は JSON、、YAMLおよび JWT サポートを備えたRESTサービス (slurmestd) で構築されています。

Slurm を v23.11.3 にアップグレード

次のコマンドを実行して を呼び出しUpdateClusterSoftwareAPI、既存の HyperPodクラスターを最新の で更新します HyperPod DLAMI。手順の詳細については、「」を参照してくださいクラスターの SageMaker HyperPod プラットフォームソフトウェアを更新する。

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

自動再開サービスのタイムアウトが 60 分に増加しました。

Slurm コントローラーを再起動しないようにインスタンス置換プロセスを改善しました。

インスタンスの起動時のダウンロードエラーやインスタンスヘルスチェックエラーなど、実行中のライフサイクルスクリプトからのエラーメッセージが改善されました。

時間同期の問題の原因となった chrony サービスのバグを修正しました。

を解析するバグを修正しましたslurm.conf。

NVIDIA go-dcgm ライブラリの問題を修正しました。

Slurm を v23.11.1 にアップグレード

で Slurm PMIxを有効にするための OpenPMIx v4.2.6 を追加しました。

2023-10-26 にリリースされた AWS Deep Learning Base GPU AMI (Ubuntu 20.04) に基づいて構築

ベースに加えて、プリ HyperPod DLAMIインストールされたパッケージの完全なリスト AMI

次のコマンドを実行して を呼び出しUpdateClusterSoftwareAPI、既存の HyperPodクラスターを最新の で更新します HyperPod DLAMI。手順の詳細については、「」を参照してくださいクラスターの SageMaker HyperPod プラットフォームソフトウェアを更新する。

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

HyperPod は、 を通じて提供されたパーティション名の渡すことを適切にサポートprovisioning_params.jsonし、提供された入力に基づいてパーティションを適切に作成できるようになりました。provisioning_params.json の詳細については、「SageMaker HyperPod フォーム」と「ライフサイクルスクリプトを使用してクラスターをカスタマイズ SageMaker HyperPodする」を参照してください。

SageMaker HyperPod セキュリティパッチ適用UpdateClusterSoftwareAPI用の新しい を追加しました。セキュリティパッチが利用可能になったら、 を実行して、アカウント内の既存の SageMaker HyperPod クラスターを更新することをお勧めしますaws sagemaker update-cluster-software --cluster-name your-cluster-name。今後のセキュリティパッチをフォローアップするには、この Amazon SageMaker HyperPod リリースノートページを引き続き追跡してください。のUpdateClusterSoftwareAPI仕組みについては、「」を参照してくださいクラスターの SageMaker HyperPod プラットフォームソフトウェアを更新する。

AWS re:Invent 2023 SageMaker HyperPod で Amazon を起動しました。

2023-10-18 にリリースされた AWS Deep Learning Base GPU AMI (Ubuntu 20.04) に基づいて構築

ベースに加えて、プリ HyperPod DLAMIインストールされたパッケージの完全なリスト AMI