Principales fonctionnalités de la bibliothèque de parallélisme de SageMaker modèles v2

La bibliothèque de parallélisme des SageMaker modèles Amazon v2 (SMPv2) propose des stratégies de distribution et des techniques d'économie de mémoire, telles que le parallélisme des données fragmentées, le parallélisme des tenseurs et le point de contrôle. Les stratégies et techniques de parallélisme des modèles proposées par la SMP version 2 permettent de distribuer de grands modèles sur plusieurs appareils tout en optimisant la vitesse d'entraînement et la consommation de mémoire. SMPv2 fournit également un package Python torch.sagemaker pour vous aider à adapter votre script d'entraînement en modifiant quelques lignes de code.

Ce guide suit le flux de base en deux étapes introduit dansCommencez avec la bibliothèque de parallélisme de SageMaker modèles v2. Pour en savoir plus sur les fonctionnalités de base SMP de la version 2 et sur leur utilisation, consultez les rubriques suivantes.