了解 SageMaker 模型平行處理程式庫 v2 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

了解 SageMaker 模型平行處理程式庫 v2

注意

自 2023 年 12 月 19 日發行 SageMaker 模型平行處理 (SMP) 程式庫 v2.0.0 以來,本文件會針對SMP程式庫 v2 更新。如需舊版的SMP程式庫,請參閱 (已封存) SageMaker 模型平行程式庫 v1.x

Amazon SageMaker 模型平行處理程式庫是 的功能 SageMaker ,可針對 SageMaker 加速運算執行個體提供高效能和最佳化的大規模訓練。 SageMaker 模型平行處理程式庫 v2 的核心功能 包含加速和簡化大型模型訓練的技術和最佳化,例如混合碎片資料平行處理、張量平行處理、啟用檢查點和啟用卸載。您可以使用 SMP程式庫來加速大型語言模型 (LLMs)、大型視覺模型 (LVMs) 和基礎模型 (FMs) 的訓練和微調,其中包含數十億個參數。

SageMaker 模型平行處理程式庫 v2 (SMP v2) 會將程式庫APIs和方法與開放原始碼 PyTorch 全陰影資料平行處理 (FSDP) 保持一致,這可讓您在最低程式碼變更的情況下,享有SMP效能最佳化的優勢。透過 SMP v2,您可以將訓練 state-of-the-art指令碼帶 PyTorch FSDP至 , SageMaker 藉此改善在 上訓練大型模型的運算效能 SageMaker。

您可以針對叢集上的一般SageMaker 訓練任務和分散式訓練工作負載使用 SMP v2Amazon SageMaker HyperPod