SageMaker bibliothèque de parallélisme de modèles v2

La bibliothèque de parallélisme des modèles Amazon SageMaker AI est une fonctionnalité de l' SageMaker IA qui permet de hautes performances et un entraînement optimisé à grande échelle sur l' SageMaker IA pour accélérer les instances de calcul. Elles Principales fonctionnalités de la bibliothèque de parallélisme de SageMaker modèles v2 incluent des techniques et des optimisations visant à accélérer et à simplifier l'apprentissage de grands modèles, telles que le parallélisme hybride de données fragmentées, le parallélisme des tenseurs, le point de contrôle d'activation et le déchargement des activations. Vous pouvez utiliser la bibliothèque SMP pour accélérer la formation et le réglage précis de grands modèles de langage (LLMs), de grands modèles de vision (LVMs) et de modèles de base (FMs) avec des centaines de milliards de paramètres.

La bibliothèque de parallélisme des SageMaker modèles v2 (SMP v2) aligne la bibliothèque APIs et les méthodes sur le parallélisme de données PyTorch entièrement découpé (FSDP) open source, ce qui vous permet de bénéficier d'optimisations des performances SMP avec un minimum de modifications de code. Avec SMP v2, vous pouvez améliorer les performances informatiques liées à l'entraînement d'un state-of-the-art grand modèle sur l' SageMaker IA en intégrant vos scripts d'entraînement PyTorch FSDP à l'IA. SageMaker

Vous pouvez utiliser SMP v2 pour les tâches de SageMaker formation générales et les charges de travail de formation distribuées sur Amazon SageMaker HyperPod des clusters.