SageMaker notes de mise à jour de la bibliothèque de parallélisme des données - Amazon SageMaker

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

SageMaker notes de mise à jour de la bibliothèque de parallélisme des données

Consultez les notes de publication suivantes pour suivre les dernières mises à jour de la bibliothèque SMDDP ( SageMaker Distributed Data Parallelism).

La bibliothèque de parallélisme de données SageMaker distribué v2.3.0

Date : 11 juin 2024

Nouvelles fonctionnalités

  • Ajout du support pour la PyTorch version 2.3.0 avec CUDA v12.1 et Python v3.11.

  • Ajout du support pour PyTorch Lightning v2.2.5. Ceci est intégré dans le conteneur du SageMaker framework pour la PyTorch v2.3.0.

  • Ajout de la validation du type d'instance lors de l'importation pour empêcher le chargement de la bibliothèque SMDDP sur des types d'instance non pris en charge. Pour obtenir la liste des types d'instances compatibles avec la bibliothèque SMDDP, consultez. Frameworks et types Régions AWS d'instances pris en charge

Intégration dans les conteneurs SageMaker Framework

Cette version de la bibliothèque SMDDP est migrée vers le conteneur Framework suivantSageMaker .

  • PyTorch v2.3.0

    763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker

Pour obtenir la liste complète des versions de la bibliothèque SMDDP et des conteneurs prédéfinis, consultez. Frameworks et types Régions AWS d'instances pris en charge

Fichier binaire de cette version

Vous pouvez télécharger ou installer la bibliothèque à l'aide de l'URL suivante.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl

Autres modifications

  • La bibliothèque SMDDP v2.2.0 est intégrée au conteneur du SageMaker framework pour v2.2.0. PyTorch

La bibliothèque de parallélisme de données SageMaker distribué v2.2.0

Date : 4 mars 2024

Nouvelles fonctionnalités

  • Ajout du support pour la PyTorch version 2.2.0 avec CUDA v12.1.

Intégration dans les conteneurs Docker distribués par la bibliothèque de parallélisme des SageMaker modèles (SMP)

Cette version de la bibliothèque SMDDP est migrée vers. La bibliothèque de parallélisme des SageMaker modèles v2.2.0

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Pour les régions dans lesquelles les images SMP Docker sont disponibles, consultez. Régions AWS

Fichier binaire de cette version

Vous pouvez télécharger ou installer la bibliothèque à l'aide de l'URL suivante.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whl

La bibliothèque de parallélisme de données SageMaker distribué v2.1.0

Date : 1er mars 2024

Nouvelles fonctionnalités

  • Ajout du support pour la PyTorch version 2.1.0 avec CUDA v12.1.

Corrections de bugs

  • Correction du problème de fuite de mémoire du processeur dansSMDDP v2.0.1.

Intégration dans les conteneurs SageMaker Framework

Cette version de la bibliothèque SMDDP a passé avec succès les tests de référence et a été migrée vers le conteneur Framework suivantSageMaker .

  • PyTorch v2.1.0

    763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker

Intégration dans les conteneurs Docker distribués par la bibliothèque de parallélisme des SageMaker modèles (SMP)

Cette version de la bibliothèque SMDDP est migrée vers. La bibliothèque de parallélisme des SageMaker modèles v2.1.0

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

Pour les régions dans lesquelles les images SMP Docker sont disponibles, consultez. Régions AWS

Fichier binaire de cette version

Vous pouvez télécharger ou installer la bibliothèque à l'aide de l'URL suivante.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whl

La bibliothèque de parallélisme de données SageMaker distribué v2.0.1

Date : 7 décembre 2023

Nouvelles fonctionnalités

Problèmes connus

  • Un problème de fuite de mémoire du processeur est dû à une augmentation progressive de la mémoire du processeur pendant l'entraînement avec SMDDP AllReduce en mode DDP.

Intégration dans les conteneurs SageMaker Framework

Cette version de la bibliothèque SMDDP a passé avec succès les tests de référence et a été migrée vers le conteneur Framework suivantSageMaker .

  • PyTorch v2.0.1

    763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker

Fichier binaire de cette version

Vous pouvez télécharger ou installer la bibliothèque à l'aide de l'URL suivante.

https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl

Autres modifications

  • À partir de cette version, la documentation de la bibliothèque SMDDP est entièrement disponible dans ce guide du SageMaker développeur Amazon. Au profit du guide du développeur complet pour SMDDP v2 contenu dans le guide du SageMaker développeur Amazon, la documentation contenant la référence supplémentaire pour SMDDP v1.x dans la documentation du SDK SageMaker Python n'est plus prise en charge. Si vous avez toujours besoin de la documentation SMP v1.x, consultez l'instantané suivant de la documentation dans la documentation du SDK SageMaker Python v2.212.0.