Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Consulta las siguientes notas de la versión para hacer un seguimiento de las últimas actualizaciones de la biblioteca de paralelismo de datos distribuido de SageMaker IA (SMDDP).
La biblioteca de paralelismo de datos distribuidos de SageMaker IA, versión 2.5.0
Fecha: 17 de octubre de 2024
Nuevas características
-
Se agregó soporte para PyTorch la versión 2.4.1 con la versión 12.1 de CUDA.
Integración en contenedores Docker distribuidos por la biblioteca de paralelismo de modelos de SageMaker IA (SMP)
Esta versión de la biblioteca de SMDDP se ha migrado a La biblioteca de paralelismo de SageMaker modelos v2.6.0.
658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121Para ver las regiones en las que están disponibles las imágenes de Docker de SMP, consulte Regiones de AWS.
Archivo binario de esta versión
Puede descargar o instalar la biblioteca mediante la siguiente dirección URL.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.4.1/cu121/2024-10-09/smdistributed_dataparallel-2.5.0-cp311-cp311-linux_x86_64.whlLa biblioteca de paralelismo de datos distribuidos mediante SageMaker IA, versión 2.3.0
Fecha: 11 de junio de 2024
Nuevas características
-
Se agregó soporte para PyTorch v2.3.0 con CUDA v12.1 y Python v3.11.
-
Se agregó soporte para Lightning PyTorch v2.2.5. Está integrado en el contenedor del marco de SageMaker IA de la versión 2.3.0. PyTorch
-
Se ha añadido validación de tipo de instancia en la importación para evitar que se cargue la biblioteca de SMDDP en tipos de instancia no compatibles. Para obtener una lista de los tipos de instancia compatibles con la biblioteca de SMDDP, consulte Marcos y tipos Regiones de AWS de instancias compatibles.
Integración en SageMaker AI Framework Containers
Esta versión de la biblioteca SMDDP se migra al siguiente contenedor de SageMaker AI Framework
-
PyTorch v2.3.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker
Para obtener una lista completa de las versiones de la biblioteca de SMDDP y de los contenedores prediseñados, consulte Marcos y tipos Regiones de AWS de instancias compatibles.
Archivo binario de esta versión
Puede descargar o instalar la biblioteca mediante la siguiente dirección URL.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whlOtros cambios
-
La biblioteca SMDDP v2.2.0 está integrada en el contenedor AI Framework de la SageMaker versión 2.2.0. PyTorch
La SageMaker biblioteca de paralelismo de datos distribuidos mediante IA, versión 2.2.0
Fecha: 4 de marzo de 2024
Nuevas características
-
Se agregó soporte para PyTorch la versión 2.2.0 con la versión 12.1 de CUDA.
Integración en contenedores Docker distribuidos por la biblioteca de paralelismo de modelos de SageMaker IA (SMP)
Esta versión de la biblioteca de SMDDP se ha migrado a La biblioteca de SageMaker modelos de paralelismo v2.2.0.
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121Para ver las regiones en las que están disponibles las imágenes de Docker de SMP, consulte Regiones de AWS.
Archivo binario de esta versión
Puede descargar o instalar la biblioteca mediante la siguiente dirección URL.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whlLa biblioteca de paralelismo de datos distribuidos mediante SageMaker IA, versión 2.1.0
Fecha: 1 de marzo de 2024
Nuevas características
-
Se agregó soporte para PyTorch la versión 2.1.0 con la versión 12.1 de CUDA.
Correcciones de errores
-
Se ha corregido el problema de pérdida de memoria de la CPU en SMDDP v2.0.1.
Integración en AI Framework Containers SageMaker
Esta versión de la biblioteca SMDDP ha superado las pruebas comparativas y se ha migrado al siguiente contenedor de SageMaker AI Framework
-
PyTorch v2.1.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker
Integración en contenedores Docker distribuidos por la biblioteca de paralelismo de modelos de SageMaker IA (SMP)
Esta versión de la biblioteca de SMDDP se ha migrado a La biblioteca de SageMaker modelos de paralelismo v2.1.0.
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121Para ver las regiones en las que están disponibles las imágenes de Docker de SMP, consulte Regiones de AWS.
Archivo binario de esta versión
Puede descargar o instalar la biblioteca mediante la siguiente dirección URL.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whlLa biblioteca de paralelismo de datos distribuidos mediante SageMaker IA, versión 2.0.1
Fecha: 7 de diciembre de 2023
Nuevas características
-
Se agregó una nueva implementación de SMDDP de operación
AllGathercolectiva optimizada para los recursos de cómputo y la infraestructura de red. AWS Para obtener más información, consulte Operación colectiva AllGather de SMDDP. -
La operación
AllGathercolectiva del SMDDP es compatible con el FSDP y. PyTorch DeepSpeed Para obtener más información, consulte Utilice la biblioteca SMDDP en su guion de formación PyTorch . -
Se agregó soporte para la versión 2.0.1 PyTorch
Problemas conocidos
-
Hay un problema de pérdida de memoria de la CPU debido a un aumento gradual de la memoria de la CPU en el entrenamiento con SMDDP
AllReduceen modo DDP.
Integración en contenedores de SageMaker AI Framework
Esta versión de la biblioteca SMDDP ha superado las pruebas comparativas y se ha migrado al siguiente contenedor de SageMaker AI Framework
-
PyTorch v2.0.1
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker
Archivo binario de esta versión
Puede descargar o instalar la biblioteca mediante la siguiente dirección URL.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whlOtros cambios
-
A partir de esta versión, la documentación de la biblioteca SMDDP está totalmente disponible en esta guía para desarrolladores de Amazon SageMaker AI. En favor de la guía completa para desarrolladores de SMDDP v2 incluida en la Guía para desarrolladores de Amazon SageMaker AI, ya no se admite la documentación para la referencia adicional de SMDDP v1.x
en la documentación del SDK de SageMaker AI Python. Si aún necesita la documentación de SMP v1.x, consulte la siguiente instantánea de la documentación en la documentación del SDK de SageMaker Python v2.212.0.
