Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
SageMaker notas de publicación de la biblioteca de paralelismo de datos
Consulte las siguientes notas de la versión para realizar un seguimiento de las actualizaciones más recientes de la biblioteca de paralelismo de datos SageMaker distribuido (SMDDP).
La SageMaker biblioteca de paralelismo de datos distribuidos, versión 2.3.0
Fecha: 11 de junio de 2024
Nuevas características
-
Se agregó soporte para PyTorch v2.3.0 con CUDA v12.1 y Python v3.11.
-
Se agregó soporte para Lightning PyTorch v2.2.5. Está integrado en el contenedor del SageMaker framework de la versión 2.3.0. PyTorch
-
Se agregó la validación del tipo de instancia durante la importación para evitar que se cargue la biblioteca SMDDP en tipos de instancia no compatibles. Para obtener una lista de los tipos de instancias compatibles con la biblioteca SMDDP, consulta. Marcos y tipos Regiones de AWS de instancias compatibles
Integración en Framework Containers SageMaker
Esta versión de la biblioteca SMDDP se migra al siguiente contenedor de SageMaker Framework
-
PyTorch v2.3.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker
Para obtener una lista completa de las versiones de la biblioteca SMDDP y los contenedores prediseñados, consulte. Marcos y tipos Regiones de AWS de instancias compatibles
Archivo binario de esta versión
Puede descargar o instalar la biblioteca mediante la siguiente URL.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl
Otros cambios
-
La biblioteca SMDDP v2.2.0 está integrada en el contenedor de SageMaker marcos de la versión 2.2.0. PyTorch
La biblioteca de paralelismo de datos distribuidos v2.2.0 SageMaker
Fecha: 4 de marzo de 2024
Nuevas características
-
Se agregó soporte para la PyTorch versión 2.2.0 con la versión 12.1 de CUDA.
Integración en contenedores Docker distribuidos por la biblioteca de paralelismo de modelos (SMP SageMaker )
Esta versión de la biblioteca SMDDP se migra a. La biblioteca de SageMaker modelos de paralelismo v2.2.0
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121
Para ver las regiones en las que están disponibles las imágenes de Docker de SMP, consulte. Regiones de AWS
Archivo binario de esta versión
Puede descargar o instalar la biblioteca mediante la siguiente URL.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whl
La biblioteca de paralelismo de datos SageMaker distribuidos, versión 2.1.0
Fecha: 1 de marzo de 2024
Nuevas características
-
Se agregó soporte para la PyTorch versión 2.1.0 con la versión 12.1 de CUDA.
Correcciones de errores
-
Se corrigió el problema de pérdida de memoria de la CPU en. SMDDP v2.0.1
Integración en SageMaker Framework Containers
Esta versión de la biblioteca SMDDP ha superado las pruebas comparativas y se migró al siguiente contenedor de SageMaker Framework
-
PyTorch v2.1.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker
Integración en contenedores Docker distribuidos por la biblioteca de paralelismo de SageMaker modelos (SMP)
Esta versión de la biblioteca SMDDP se migra a. La biblioteca de SageMaker modelos de paralelismo v2.1.0
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121
Para ver las regiones en las que están disponibles las imágenes de Docker de SMP, consulte. Regiones de AWS
Archivo binario de esta versión
Puede descargar o instalar la biblioteca mediante la siguiente URL.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whl
La biblioteca de paralelismo de datos SageMaker distribuidos v2.0.1
Fecha: 7 de diciembre de 2023
Nuevas características
-
Se agregó una nueva implementación de SMDDP de operación
AllGathercolectiva optimizada para los recursos de AWS cómputo y la infraestructura de red. Para obtener más información, consulte Operación AllGather colectiva SMDDP. -
La operación
AllGathercolectiva del SMDDP es compatible con el FSDP y. PyTorch DeepSpeed Para obtener más información, consulte Utilice la SMDDP biblioteca en su guion de formación PyTorch . -
Se agregó soporte para la versión 2.0.1 PyTorch
Problemas conocidos
-
Hay un problema de pérdida de memoria de la CPU debido a un aumento gradual de la memoria de la CPU durante el entrenamiento con SMDDP en modo DDP
AllReduce.
Integración en Framework Containers SageMaker
Esta versión de la biblioteca SMDDP ha superado las pruebas comparativas y se migró al siguiente contenedor de SageMaker Framework
-
PyTorch v2.0.1
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker
Archivo binario de esta versión
Puede descargar o instalar la biblioteca mediante la siguiente URL.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl
Otros cambios
-
A partir de esta versión, la documentación de la biblioteca SMDDP está totalmente disponible en esta guía para SageMaker desarrolladores de Amazon. En favor de la guía completa para desarrolladores de SMDDP v2 incluida en la Guía para SageMaker desarrolladores de Amazon, ya no se admite la documentación para la referencia adicional de SMDDP v1.x
en la documentación del SDK de SageMaker Python. Si aún necesita la documentación de SMP v1.x, consulte la siguiente instantánea de la documentación en la documentación del SDK de SageMaker Python v2.212.0.
