Amazon SageMaker HyperPod 版本備註

在 中新增了 Amazon EKS支援 SageMaker HyperPod。如需進一步了解，請參閱 使用 Amazon 協調 SageMaker HyperPod 叢集 EKS。

已安裝NVIDIA驅動程式 v550.90.07

已安裝EFA驅動程式 v2.10

已安裝最新版的 AWS Neuron SDK

增強SageMaker HyperPod 了自動恢復功能 ，擴展了與一般 RESources（） 連接之 Slurm 節點的恢復能力GRES。

當一般資源 （GRES） 連接至 Slurm 節點時，Slurm 通常不允許節點配置的變更，例如取代節點，因此不允許繼續失敗的任務。除非明確禁止， HyperPod否則自動恢復功能會自動重新佇列與GRES啟用 的節點相關聯的任何錯誤任務。此程序涉及停止任務、將其放回任務佇列，然後從頭開始重新啟動任務。

在 slurmrestd中預先封裝 SageMaker HyperPod AMI。

將 ResumeTimeout和 的預設值UnkillableStepTimeout從 60 秒變更為 300 秒slurm.conf，以改善系統回應能力和任務處理。

針對 NVIDIA Data Center GPU Manager （DCGM） 和 NVIDIA System Management Interface （nvidia-smi） 的運作狀態檢查進行微幅改進。

HyperPod 自動恢復外掛程式可以使用閒置節點繼續任務。

執行下列命令，呼叫 UpdateClusterSoftwareAPI以使用最新的 更新現有的 HyperPod叢集 HyperPod DLAMI。若要尋找更多指示，請參閱 更新叢集的 SageMaker HyperPod 平台軟體。

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

新增了將額外儲存體連接至 SageMaker HyperPod 叢集執行個體的新功能。透過此功能，您可以在叢集建立或更新程序期間，透過 SageMaker HyperPod 主控台或 CreateCluster和 UpdateCluster ，在執行個體群組組態層級設定補充儲存APIs。額外的EBS磁碟區會連接至 SageMaker HyperPod 叢集內的每個執行個體，並掛載到 /opt/sagemaker。若要進一步了解如何在 SageMaker HyperPod 叢集中實作，請參閱下列頁面的更新文件。

請注意，您需要更新 HyperPod 叢集軟體才能使用此功能。修補 HyperPod 叢集軟體後，您可以新增執行個體群組，以將此功能用於 2024 年 6 月 20 日之前建立的現有 SageMaker HyperPod 叢集。此功能對 2024 年 6 月 20 日之後建立的任何 SageMaker HyperPod 叢集完全有效。

執行下列命令以呼叫 UpdateClusterSoftwareAPI，以使用最新的 更新現有的 HyperPod叢集 HyperPod DLAMI。若要尋找更多指示，請參閱 更新叢集的 SageMaker HyperPod 平台軟體。

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

已修正 ClusterInstanceGroupSpecification 中 ThreadsPerCore 參數的錯誤API。透過 修正， CreateCluster和 會透過 UpdateClusterAPIs正確取得並套用使用者輸入ThreadsPerCore。此修正對 2024 年 4 月 24 日之後建立的 HyperPod 叢集有效。如果您遇到此錯誤的問題，並想要將此修正套用至叢集，則需要建立新的叢集。請確定您在移至新叢集時，依照 的指示備份和還原工作使用 提供的備份指令碼 SageMaker HyperPod。

在此版本的 中 HyperPod DLAMI，Slurm 是以REST服務 （slurmestd） 建置，並具有 JSON、 YAML和 JWT支援。

已將 Slurm 升級到 v23.11.3

執行下列命令，呼叫 UpdateClusterSoftwareAPI以使用最新的 更新現有的 HyperPod叢集 HyperPod DLAMI。若要尋找更多指示，請參閱 更新叢集的 SageMaker HyperPod 平台軟體。

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

自動恢復服務逾時增加至 60 分鐘。

改善執行個體替換程序，使其不會重新啟動 Slurm 控制器。

改善執行生命週期指令碼的錯誤訊息，例如下載錯誤和執行個體啟動時的執行個體運作狀態檢查錯誤。

修正導致時間同步問題的計時服務錯誤。

已修正剖析 的錯誤slurm.conf。

已修正NVIDIAgo-dcgm程式庫的問題。

升級 Slurm 至 v23.11.1

已新增 OpenPMIx v4.2.6 以使用 啟用 SlurmPMIx。

建置於 2023-10-26 發行的AWS 深度學習基礎 GPUAMI（Ubuntu 20.04）

除了 基礎之外，此 HyperPod DLAMI 中預先安裝套件的完整清單 AMI

執行下列命令，呼叫 UpdateClusterSoftwareAPI以使用最新的 更新現有的 HyperPod叢集 HyperPod DLAMI。若要尋找更多指示，請參閱 更新叢集的 SageMaker HyperPod 平台軟體。

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

HyperPod 現在正確支援透過 提供的傳遞分割區名稱，provisioning_params.json並根據提供的輸入適當地建立分割區。如需 provisioning_params.json 的詳細資訊，請參閱 SageMaker HyperPod 形式 和 使用生命週期指令碼自訂 SageMaker HyperPod叢集。

新增安全性 SageMaker HyperPod 修補UpdateClusterSoftwareAPI。當安全修補程式可用時，我們建議您執行 來更新帳戶中現有的 SageMaker HyperPod 叢集aws sagemaker update-cluster-software --cluster-name your-cluster-name。若要追蹤未來的安全修補程式，請繼續追蹤此 Amazon SageMaker HyperPod 版本備註頁面。若要了解 UpdateClusterSoftware API 的運作方式，請參閱 更新叢集的 SageMaker HyperPod 平台軟體。

SageMaker HyperPod 於 AWS re：Invent 2023 推出 Amazon。

建置於 2023-10-18 發行的AWS 深度學習基礎 GPUAMI（Ubuntu 20.04）

除了 基礎之外，此 HyperPod DLAMI 中預先安裝套件的完整清單 AMI