Notes de mise à jour pour la bibliothèque de parallélisme des SageMaker modèles

Ajout de la prise en charge de l'entraînement à précision mixte utilisant le format de FP8 données sur les instances P5 pour le modèle Mixtral.

Ajout de la prise Parallélisme du contexte en charge des configurations de modèles suivantes.

Ajout du support pour enregistrer les points de contrôle de manière asynchrone. Pour en savoir plus, consultez Point de contrôle à l'aide de SMP.

Résolution d'un problème qui provoquait une perte initiale étonnamment élevée lors du réglage précis de Llama lors du chargement d'un point de contrôle de modèle préentraîné et de l'utilisation du parallélisme des tenseurs.

Pour utiliser le point de contrôle d'activation pour Mixtral avec une précision FP8 mixte, vous devez contrôler séparément la couche d'attention et la couche experte. Pour un exemple de configuration correcte, consultez l'exemple de script de formation dans le référentiel Amazon SageMaker Examples.

Le type d'équilibrage de charge équilibré dans la configuration MoE (torch.sagemaker.moe.moe_config.MoEConfig) est actuellement incompatible avec le point de contrôle d'activation.

Avec le parallélisme du contexte, GPT -NeoX montre une régression des performances à la fois lors de la pré-formation et lors du réglage précis.

Pour les instances GPT -NeOx on P4, le chargement direct de poids à partir d'un modèle transformé initialisé à paramètres différés dans un modèle de transformateur Hugging Face entraîne une inadéquation des pertes lors de la première étape.

Mise à niveau de la FlashAttention bibliothèque vers la version 2.5.8

Mise à niveau de la bibliothèque Transformer Engine vers la version 1.8

SMPConteneur Docker pour PyTorch v2.3.1 avec v12.1 CUDA

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Pour obtenir la liste complète des régions prises en charge, veuillez consulter Régions AWS.

Packages préinstallés

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Correction d'un bogue qui provoquait des formes logit incorrectes lorsque les étiquettes n'étaient pas transmises lors de la passe directe lors de l'utilisation du SMP Transformer.

Ajout du support pour la PyTorch version 2.3.1.

Ajout du support pour Python v3.11.

Ajout du support pour la bibliothèque Hugging Face Transformers v4.40.1.

Suppression du support pour Python v3.10.

Suppression du support pour les versions de la bibliothèque Hugging Face Transformers antérieures à la version 4.40.1.

Un patch a été inclus pour activer la sauvegarde des tenseurs dédupliqués sur différents grades. Pour en savoir plus, consultez le fil de discussion dans le PyTorch GitHub référentiel.

Il existe un problème connu selon lequel la perte peut augmenter puis reprendre à une valeur de perte plus élevée tout en ajustant le Llama-3 70B avec le parallélisme des tenseurs.

Mise à niveau de la SMDDP bibliothèque vers la version 2.3.0.

Mise à niveau de la NCCL bibliothèque vers la version 2.21.5.

Mise à niveau du EFA logiciel vers la version v1.32.0.

Arrêt de l'installation de la bibliothèque Torch Distributed Experimental (TorchDistX).

SMPConteneur Docker pour PyTorch v2.3.1 avec v12.1 CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Packages préinstallés

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Correction d'un ImportError problème lors de l'utilisation d'moe_load_balancing=balancedin torch.sagemaker.moe.moe_config.MoEConfig pour le parallélisme expert.

Correction d'un problème de réglage précis en raison duquel l'torch.sagemaker.transformappel KeyError déclenché était load_state_dict_from_rank0 activé.

Correction d'une erreur out-of-memory (OOM) générée lors du chargement de grands modèles Mixture of Experts (MoE), tels que Mixtral 8x22B, pour un réglage précis.

SMPConteneur Docker pour PyTorch v2.2.0 avec v12.1 CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Ajout d'une nouvelle fonctionnalité de base, le parallélisme expert, pour prendre en charge les modèles de transformateurs Mixture of Experts. Pour en savoir plus, consultez Parallélisme expert.

SMPConteneur Docker pour PyTorch v2.2.0 avec v12.1 CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Ajout de la prise en charge de l'FP8entraînement des modèles de transformateurs Hugging Face suivants sur des instances P5 avec intégration de Transformer Engine :

Correction d'un bug en raison duquel la contiguïté des tenseurs n'était pas garantie avant l'appel AllGather collectif lors de l'entraînement au parallélisme des tenseurs.

Ajout du support pour la PyTorch version 2.2.0.

Mise à niveau de la SMDDP bibliothèque vers la version 2.2.0.

Mise à niveau de la FlashAttention bibliothèque vers la version 2.3.3.

Mise à niveau de la NCCL bibliothèque vers la version 2.19.4.

Suppression du support pour les versions de Transformer Engine antérieures à la v1.2.0.

La SMP Déchargement de l'activation fonctionnalité ne fonctionne pas actuellement. Utilisez plutôt le déchargement PyTorch d'activation natif.

Inclus un correctif pour corriger la régression des performances abordée dans le fil de discussion sur https://github.com/pytorch/pytorch/issues/117748 dans le référentiel. PyTorch GitHub

SMPConteneur Docker pour PyTorch v2.2.0 avec v12.1 CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Ajout du support pour la PyTorch version 2.1.2.

Suppression du support pour Hugging Face Transformers v4.31.0.

Un problème a été découvert : le réglage précis du modèle Hugging Face Llama 2 avec le modèle FSDP provoque attn_implementation=flash_attention_2 sa divergence. Pour référence, consultez le ticket d'émission dans le référentiel Hugging Face GitHub Transformers. Pour éviter le problème de divergence, utilisezattn_implementation=sdpa. Vous pouvez également utiliser l'implémentation du modèle de SMP transformateur en configurantuse_smp_implementation=True.

SMPConteneur Docker pour PyTorch v2.1.2 avec v12.1 CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Un nouveau torch.sagemaker package, entièrement remanié par rapport au smdistributed.modelparallel.torch package précédent de la version v1.x. SMP

Support pour PyTorch 2.0.1.

Support pour PyTorch FSDP.

Implémentation du parallélisme tensoriel en l'intégrant à la bibliothèque Transformer Engine.

Support à la fois pour SageMaker la formation et SageMaker HyperPod.

SMPv2 l'a APIs entièrement remanié et fournit le torch.sagemaker package. La plupart du temps, il suffit de l'initialiser avec le torch.sagemaker.init() module et de transmettre les paramètres de configuration du model parallel. Avec ce nouveau package, vous pouvez considérablement simplifier les modifications de code dans votre script d'entraînement. Pour en savoir plus sur l'adaptation de votre script d'entraînement à l'utilisation de SMP la version 2, consultezUtiliser la bibliothèque de parallélisme des SageMaker modèles v2.

Si vous avez utilisé la version SMP 1 pour entraîner les modèles de Hugging Face Transformer et que vous souhaitez réutiliser les modèles SMP dans la version 2, Passez de la SMP v1 à la SMP v2 consultez.

Pour l' PyTorch FSDPentraînement, vous devez utiliser la SMP version 2.

Le point de contrôle d'activation ne fonctionne actuellement qu'avec les politiques d'encapsulation suivantes avecFSDP.

Pour être utiliséDéchargement de l'activation, le type de point de contrôle d'FSDPactivation doit être. REENTRANT

Lorsque vous exécutez avec tensor parallel activé avec le degré de parallélisme des données fragmentées défini sur1, vous devez utiliser. backend = nccl L'option smddp backend n'est pas prise en charge dans ce scénario.

Transformer Engine doit être utilisé PyTorch avec la SMP bibliothèque même si le parallélisme des tenseurs n'est pas utilisé.

À partir de cette version, la documentation de la bibliothèque de parallélisme des SageMaker modèles est entièrement disponible dans ce guide du SageMaker développeur Amazon. Au profit de ce guide complet du développeur pour la SMP v2 dans le manuel du SageMaker développeur Amazon, la référence supplémentaire pour la SMP v1.x dans la SDKdocumentation SageMaker Python est obsolète. Si vous avez toujours besoin de la documentation pour la SMP v1.x, le guide du développeur pour la SMP v1.x est disponible à l'adresse(Archivé) bibliothèque de parallélisme de SageMaker modèles v1.x, et la référence de la bibliothèque SMP Python v1.x est disponible dans la documentation SageMaker Python SDK v2.199.0.

Support interrompu pour TensorFlow.

Le parallélisme des pipelines n'est pas pris en charge dans SMP la version 2.

Il n'y a aucun support pour la DeepSpeed bibliothèque en faveur du natif PyTorchFSDP.

SMPConteneur Docker pour PyTorch v2.0.1 avec v12.1 CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121