Caractéristiques principales de la bibliothèque de parallélisme des SageMaker modèles

La bibliothèque de parallélisme des modèles d'Amazon SageMaker AI propose des stratégies de distribution et des techniques d'économie de mémoire, telles que le parallélisme des données partitionnées, le parallélisme des tenseurs, le partitionnement des modèles par couches pour la planification des pipelines et les points de contrôle. Les stratégies et techniques de parallélisme de modèles permettent de distribuer de grands modèles sur plusieurs appareils tout en optimisant la vitesse d'entraînement et la consommation de mémoire. La bibliothèque fournit également des fonctions d'assistance, des gestionnaires de contexte et des fonctions d'encapsulation de Python pour adapter votre script d'entraînement au partitionnement automatique ou manuel de votre modèle.

Lorsque vous implémentez le parallélisme des modèles dans votre tâche de formation, vous conservez le même flux de travail en deux étapes que celui décrit dans la section Exécuter une tâche de formation SageMaker distribuée avec le parallélisme des modèles. Pour adapter votre script d'entraînement, vous n'ajouterez aucune ligne de code ou quelques lignes de code supplémentaires à votre script d'entraînement. Pour lancer une tâche d'entraînement du script d'entraînement adapté, vous devez définir les paramètres de configuration de distribution afin d'activer les fonctionnalités d'économie de mémoire ou de transmettre des valeurs pour le degré de parallélisme.

Pour commencer avec des exemples, consultez les blocs-notes Jupyter suivants qui montrent comment utiliser la bibliothèque de parallélisme des SageMaker modèles.

Pour en savoir plus sur les fonctionnalités de base de la bibliothèque, consultez les rubriques suivantes.