Erfahren Sie mehr über die SageMaker Modellparallelismusbibliothek v2

Die SageMaker Amazon-Modellparallelismus-Bibliothek ist eine Funktion SageMaker , die eine hohe Leistung und ein optimiertes Training in großem Maßstab auf SageMaker Accelerate-Compute-Instances ermöglicht. Kernfunktionen der SageMaker Modellparallelitätsbibliothek v2Dazu gehören Techniken und Optimierungen zur Beschleunigung und Vereinfachung des Trainings großer Modelle, wie z. B. hybride Sharded-Datenparallelität, Tensorparallelität, Aktivierungs-Checkpointing und Aktivierungs-Offloading. Sie können die SMP Bibliothek verwenden, um das Training und die Feinabstimmung von großen Sprachmodellen (LLMs), großen Visionsmodellen () und Basismodellen (LVMs) mit Hunderten von Milliarden von Parametern zu beschleunigen. FMs

Die SageMaker Modellparallelismus-Bibliothek v2 (SMPv2) stimmt die Bibliothek APIs und die Methoden auf die Open-Source-Version PyTorch Fully Sharded Data Parallelism (FSDP) ab, wodurch Sie den Vorteil von SMP Leistungsoptimierungen mit minimalen Codeänderungen nutzen können. Mit SMP Version 2 können Sie die Rechenleistung beim Training eines state-of-the-art großen Modells verbessern, indem Sie Ihre Trainingsskripte darauf anwenden. SageMaker PyTorch FSDP SageMaker

Sie können SMP v2 für allgemeine SageMaker Trainingsaufgaben und verteilte Trainingsworkloads auf Amazon SageMaker HyperPod Clustern verwenden.