Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
SageMaker Versionshinweise zur Datenparallelitätsbibliothek
In den folgenden Versionshinweisen finden Sie Informationen zu den neuesten Updates für die SageMaker Distributed Data Parallelism (SMDDP) -Bibliothek.
Die Bibliothek für SageMaker verteilte Datenparallelität v2.3.0
Datum: 11. Juni 2024
Neue Features
-
Unterstützung für PyTorch v2.3.0 mit CUDA v12.1 und Python v3.11 hinzugefügt.
-
Unterstützung für PyTorch Lightning v2.2.5 hinzugefügt. Dies ist in den SageMaker Framework-Container für PyTorch v2.3.0 integriert.
-
Es wurde eine Überprüfung des Instanztyps während des Imports hinzugefügt, um zu verhindern, dass die SMDDP-Bibliothek auf nicht unterstützte Instanztypen geladen wird. Eine Liste der Instance-Typen, die mit der SMDDP-Bibliothek kompatibel sind, finden Sie unter. Unterstützte Frameworks AWS-Regionen und Instanztypen
Integration in Framework-Container SageMaker
Diese Version der SMDDP-Bibliothek wurde in den folgenden SageMaker Framework-Container migriert.
-
PyTorch v2.3.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker
Eine vollständige Liste der Versionen der SMDDP-Bibliothek und der vorgefertigten Container finden Sie unter. Unterstützte Frameworks AWS-Regionen und Instanztypen
Binärdatei dieser Version
Sie können die Bibliothek über die folgende URL herunterladen oder installieren.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl
Andere Änderungen
-
Die SMDDP-Bibliothek v2.2.0 ist in den SageMaker Framework-Container für v2.2.0 integriert. PyTorch
Die Bibliothek für verteilte Datenparallelität v2.2.0 SageMaker
Datum: 4. März 2024
Neue Features
-
Unterstützung für PyTorch v2.2.0 mit CUDA v12.1 hinzugefügt.
Integration in Docker-Container, die über die Model Parallelism (SMP) -Bibliothek vertrieben werden SageMaker
Zu dieser Version der SMDDP-Bibliothek wurde migriert. Die SageMaker Modellparallelitätsbibliothek v2.2.0
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121
Informationen zu Regionen, in denen die SMP Docker-Images verfügbar sind, finden Sie unter. AWS-Regionen
Binärdatei dieser Version
Sie können die Bibliothek über die folgende URL herunterladen oder installieren.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whl
Die Bibliothek für SageMaker verteilte Datenparallelität v2.1.0
Datum: 1. März 2024
Neue Features
-
Unterstützung für PyTorch v2.1.0 mit CUDA v12.1 hinzugefügt.
Fehlerkorrekturen
-
Das Problem mit dem CPU-Speicherleck in wurde behobenSMDDP v2.0.1.
Integration in SageMaker Framework-Container
-
PyTorch v2.1.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker
Integration in Docker-Container, die über die SageMaker Model Parallelism (SMP) -Bibliothek vertrieben werden
Zu dieser Version der SMDDP-Bibliothek wurde migriert. Die SageMaker Modellparallelitätsbibliothek v2.1.0
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121
Informationen zu Regionen, in denen die SMP Docker-Images verfügbar sind, finden Sie unter. AWS-Regionen
Binärdatei dieser Version
Sie können die Bibliothek über die folgende URL herunterladen oder installieren.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whl
Die Bibliothek für SageMaker verteilte Datenparallelität v2.0.1
Datum: 7. Dezember 2023
Neue Features
-
Es wurde eine neue SMDDP-Implementierung für
AllGatherkollektiven Betrieb hinzugefügt, die für AWS Rechenressourcen und Netzwerkinfrastruktur optimiert ist. Weitere Informationen hierzu finden Sie unter SMDDP-AllGatherKollektiver Vorgang. -
Der
AllGatherkollektive SMDDP-Betrieb ist kompatibel mit FSDP und. PyTorch DeepSpeed Weitere Informationen hierzu finden Sie unter Verwenden Sie die SMDDP Bibliothek in Ihrem Trainingsskript PyTorch . -
Unterstützung für v2.0.1 hinzugefügt PyTorch
Bekannte Probleme
-
Aufgrund einer allmählichen Erhöhung des CPU-Speichers während des Trainings mit SMDDP im
AllReduceDDP-Modus liegt ein CPU-Speicherleck vor.
Integration in Framework-Container SageMaker
-
PyTorch v2.0.1
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker
Binärdatei dieser Version
Sie können die Bibliothek über die folgende URL herunterladen oder installieren.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl
Andere Änderungen
-
Ab dieser Version ist die Dokumentation für die SMDDP-Bibliothek vollständig in diesem Amazon SageMaker Developer Guide verfügbar. Das vollständige Entwicklerhandbuch für SMDDP v2, das im Amazon SageMaker Developer Guide enthalten ist, wird die Dokumentation für die zusätzliche Referenz für SMDDP v1.x
in der SageMaker Python SDK-Dokumentation nicht mehr unterstützt. Wenn Sie weiterhin die SMP v1.x-Dokumentation benötigen, sehen Sie sich den folgenden Snapshot der Dokumentation in der SageMaker Python SDK v2.212.0-Dokumentation an.
