Notas de publicación de la biblioteca de paralelismo de SageMaker modelos

Se agregó soporte para el entrenamiento de precisión mixta utilizando el formato de FP8 datos en instancias P5 para el modelo Mixtral.

Se agregó soporte para las siguientes configuraciones de modelos. Paralelismo de contexto

Se agregó soporte para guardar los puntos de control de forma asíncrona. Para obtener más información, consulte Compruebe la posición utilizando SMP.

Se solucionó un problema que provocaba una pérdida inicial inesperadamente elevada durante el ajuste de Llama al cargar un punto de control de un modelo previamente entrenado y utilizar el paralelismo tensorial.

Para utilizar los puntos de control de activación de Mixtral con una precisión FP8 mixta, tendrás que controlar las capas de atención y de experto por separado. Para ver un ejemplo de cómo configurarlo correctamente, consulta el ejemplo de script de entrenamiento en el repositorio de Amazon SageMaker Examples.

El tipo de equilibrio de carga equilibrado de la configuración del MoE (torch.sagemaker.moe.moe_config.MoEConfig) no es compatible actualmente con los puntos de control de activación.

Con el paralelismo contextual, GPT -NeoX muestra una regresión del rendimiento tanto en el entrenamiento previo como en el ajuste fino.

Para instancias de GPT -NeoX en P4, cargar directamente los pesos de un modelo transformado inicializado con parámetros retardados en un modelo de transformador Hugging Face provoca un desajuste de pérdidas en el primer paso.

Se actualizó la FlashAttention biblioteca a la versión 2.5.8

Se actualizó la biblioteca de Transformer Engine a la versión 1.8

SMPCUDAContenedor Docker para las versiones 2.3.1 y 12.1 PyTorch

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Para obtener una lista completa de las regiones admitidas, consulte Regiones de AWS.

Paquetes preinstalados

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Se ha corregido un error que provocaba que las formas logit fueran incorrectas cuando no se pasaban etiquetas en la pasada hacia delante mientras se utilizaba el SMP Transformer.

Se agregó soporte para la PyTorch versión 2.3.1.

Se agregó soporte para Python v3.11.

Se agregó soporte para la biblioteca Hugging Face Transformers v4.40.1.

Se ha interrumpido el soporte para Python v3.10.

Se suspendió el soporte para las versiones de la biblioteca Hugging Face Transformers anteriores a la v4.40.1.

Se ha incluido un parche que permite guardar los tensores deduplicados en diferentes rangos. Para obtener más información, consulta el hilo de discusión en el repositorio. PyTorch GitHub

Existe un problema conocido que hace que la pérdida se dispare y luego se reanude a un valor de pérdida más alto al ajustar el Llama-3 70B con paralelismo tensorial.

Se actualizó la SMDDP biblioteca a la versión 2.3.0.

Se actualizó la NCCL biblioteca a la versión 2.21.5.

Se actualizó el EFA software a la versión 1.32.0.

Se interrumpió la instalación de la biblioteca Torch Distributed Experimental (TorchDistX).

SMPContenedor Docker para las versiones 2.3.1 y 12.1 PyTorch CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Paquetes preinstalados

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Se ha ImportError corregido un error que se producía al usarlo moe_load_balancing=balanced como paralelismo experto. torch.sagemaker.moe.moe_config.MoEConfig

Se ha corregido un error de ajuste que provocaba que la torch.sagemaker.transform llamada se emitiera cuando estaba activada. KeyError load_state_dict_from_rank0

Se ha corregido un error out-of-memory (OOM) que se producía al cargar modelos de Mixture of Experts (MoE) de gran tamaño, como el Mixtral 8x22B, para realizar ajustes precisos.

SMPContenedor Docker para la versión 2.2.0 con la PyTorch versión 12.1 CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Se agregó una nueva función principal, el paralelismo experto, para admitir los modelos de transformadores Mixture of Experts. Para obtener más información, consulte Paralelismo experto.

SMPContenedor Docker para la versión 2.2.0 con la versión 12.1 PyTorch CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Se agregó soporte para el FP8entrenamiento de los siguientes modelos de transformadores Hugging Face en instancias P5 con integración de Transformer Engine:

Se ha corregido un error que impedía garantizar que los tensores fueran contiguos antes de la llamada AllGather colectiva durante el entrenamiento de paralelismo tensorial.

Se agregó soporte para la PyTorch versión 2.2.0.

Se actualizó la SMDDP biblioteca a la versión 2.2.0.

Se actualizó la FlashAttention biblioteca a la versión 2.3.3.

Se actualizó la NCCL biblioteca a la versión 2.19.4.

Se suspendió el soporte para las versiones de Transformer Engine anteriores a la v1.2.0.

La SMP Descarga de activación función no funciona actualmente. En su lugar, utilice la descarga de PyTorch activación nativa.

Se incluyó un parche para corregir la regresión del rendimiento discutida en el hilo de problemas en https://github.com/pytorch/pytorch/issues/117748 en el repositorio. PyTorch GitHub

SMPContenedor Docker para la versión 2.2.0 con la versión 12.1 PyTorch CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Se agregó soporte para la PyTorch versión 2.1.2.

Se ha interrumpido el soporte para Hugging Face Transformers v4.31.0.

Se descubre un problema que al ajustar el modelo Hugging Face Llama 2 attn_implementation=flash_attention_2 con FSDP y provoca que el modelo diverja. Como referencia, consulta el ticket de publicación en el repositorio de Hugging Face GitHub Transformers. Para evitar el problema de la divergencia, utilice. attn_implementation=sdpa Como alternativa, utilice la implementación del modelo de SMP transformador mediante la configuración. use_smp_implementation=True

SMPContenedor Docker para la v2.1.2 con la v12.1 PyTorch CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Un torch.sagemaker paquete nuevo, completamente renovado con respecto al paquete anterior de la versión 1.x. smdistributed.modelparallel.torch SMP

Support para PyTorch 2.0.1.

Support for PyTorch FSDP.

Implementación del paralelismo tensorial mediante la integración con la biblioteca Transformer Engine.

Support for SageMaker Training y SageMaker HyperPod.

SMPLa versión 2 lo renovó por APIs completo y proporciona el torch.sagemaker paquete. Principalmente, solo necesita inicializar con el torch.sagemaker.init() módulo y pasar los parámetros de configuración paralela del modelo. Con este nuevo paquete, puede simplificar considerablemente las modificaciones del código en su guion de entrenamiento. Para obtener más información sobre cómo adaptar su script de entrenamiento para usar la SMP versión 2, consulteUtilice la biblioteca de paralelismo de SageMaker modelos v2.

Si has utilizado la SMP versión 1 para entrenar a los modelos de Hugging Face Transformer y quieres reutilizarlos SMP en la versión 2, Actualización de la versión SMP 1 a la SMP versión 2 consulta.

Para el PyTorch FSDP entrenamiento, debes usar la SMP versión 2.

Actualmente, los puntos de control de activación solo funcionan con las siguientes políticas de empaquetado. FSDP

Para poder utilizarlosDescarga de activación, el tipo FSDP de punto de control de activación debe ser. REENTRANT

Cuando se ejecuta con el tensor paralelo habilitado con el grado de paralelo de datos fragmentados establecido en1, debe usar. backend = nccl La opción smddp de backend no es compatible en este escenario.

Es necesario utilizar Transformer Engine PyTorch con la SMP biblioteca incluso cuando no se utilice el paralelismo tensorial.

A partir de esta versión, la documentación de la biblioteca de paralelismo de SageMaker modelos está totalmente disponible en esta guía para desarrolladores de Amazon SageMaker . A favor de esta guía completa para desarrolladores de la SMP versión 2 en la Guía para SageMaker desarrolladores de Amazon, la referencia adicional para la SMP versión 1.x en la SDKdocumentación de SageMaker Python está obsoleta. Si aún necesitas la documentación de la versión SMP 1.x, la guía para desarrolladores de la versión 1.x está disponible en Biblioteca de paralelismo de SageMaker modelos v1.x (Archivada) y la referencia de la biblioteca de Python de la versión SMP 1.x está disponible en la documentación de SMP Python de la versión 2.199.0. SageMaker SDK

Se interrumpió el soporte para. TensorFlow

En la versión 2 no se admite el paralelismo entre canalizaciones. SMP

No hay soporte para la DeepSpeed biblioteca en favor de la nativa. PyTorch FSDP

SMPContenedor Docker para la v2.0.1 con la v12.1 PyTorch CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121