Notas de lançamento da biblioteca de SageMaker paralelismo de modelos

Foi adicionado suporte para treinamento de precisão mista usando formato de FP8 dados em instâncias P5 para o modelo Mixtral.

Foi adicionado suporte Paralelismo de contexto para as seguintes configurações de modelo.

Foi adicionado suporte para salvar pontos de verificação de forma assíncrona. Para saber mais, consulte Ponto de verificação usando SMP.

Resolveu um problema que causava uma perda inicial inesperadamente alta durante o ajuste fino do Llama ao carregar um ponto de verificação de modelo pré-treinado e utilizar o paralelismo de tensores.

Para usar o ponto de verificação de ativação do Mixtral com precisão FP8 mista, você precisará verificar as camadas de atenção e especialista separadamente. Para ver um exemplo de como configurá-lo corretamente, consulte o exemplo de script de treinamento no repositório Amazon SageMaker Examples.

O tipo de balanceamento de carga balanceado na configuração MoE (torch.sagemaker.moe.moe_config.MoEConfig) atualmente é incompatível com o ponto de verificação de ativação.

Com o paralelismo de contexto, GPT -NeoX mostra regressão de desempenho tanto no pré-treinamento quanto no ajuste fino.

Para GPT -NeoX em instâncias P4, carregar pesos diretamente de um modelo transformado inicializado com parâmetros atrasados em um modelo de transformador Hugging Face leva a uma incompatibilidade de perdas na primeira etapa.

Atualizou a FlashAttention biblioteca para v2.5.8

Atualizou a biblioteca do Transformer Engine para v1.8

SMPContêiner Docker para PyTorch v2.3.1 com v12.1 CUDA

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Para obter uma lista completa das regiões compatíveis, consulte Regiões da AWS.

Pacotes pré-instalados

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Corrigido um erro que causa formas incorretas de logit quando os rótulos não são passados na passagem para frente ao usar o SMP Transformer.

Foi adicionado suporte para PyTorch v2.3.1.

Foi adicionado suporte para Python v3.11.

Foi adicionado suporte para a biblioteca Hugging Face Transformers v4.40.1.

Suporte descontinuado para Python v3.10.

Suporte descontinuado para as versões da biblioteca Hugging Face Transformers anteriores à v4.40.1.

Incluiu um patch para ativar o salvamento de tensores desduplicados em diferentes níveis. Para saber mais, consulte o tópico de discussão no PyTorch GitHub repositório.

Há um problema conhecido de que a perda pode aumentar e, em seguida, retomar com um valor de perda mais alto enquanto ajusta o Llama-3 70B com paralelismo de tensores.

Atualizou a SMDDP biblioteca para a v2.3.0.

Atualizou a NCCL biblioteca para a v2.21.5.

Atualizou o EFA software para v1.32.0.

A instalação da biblioteca Torch Distributed Experimental (TorchDistX) foi interrompida.

SMPContêiner Docker para PyTorch v2.3.1 com v12.1 CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Pacotes pré-instalados

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Corrigido um ImportError problema ao usar moe_load_balancing=balanced in torch.sagemaker.moe.moe_config.MoEConfig para paralelismo especializado.

Corrigido um problema de ajuste fino em que a torch.sagemaker.transform chamada era gerada KeyError quando load_state_dict_from_rank0 ativada.

Corrigido um erro out-of-memory (OOM) gerado ao carregar modelos grandes do Mixture of Experts (MoE), como o Mixtral 8x22B, para ajuste fino.

SMPContêiner Docker para PyTorch v2.2.0 com v12.1 CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Foi adicionado um novo recurso principal, o paralelismo especializado, para oferecer suporte aos modelos de transformadores Mixture of Experts. Para saber mais, consulte Paralelismo especializado.

SMPContêiner Docker para PyTorch v2.2.0 com v12.1 CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Foi adicionado suporte para o FP8treinamento dos seguintes modelos de transformadores Hugging Face em instâncias P5 com integração com o Transformer Engine:

Corrigido um bug em que não era garantido que os tensores fossem contíguos antes da chamada AllGather coletiva durante o treinamento de paralelismo de tensores.

Foi adicionado suporte para PyTorch v2.2.0.

Atualizou a SMDDP biblioteca para a v2.2.0.

Atualizou a FlashAttention biblioteca para a v2.3.3.

Atualizou a NCCL biblioteca para a v2.19.4.

Suporte descontinuado para versões do Transformer Engine anteriores à v1.2.0.

O SMP Ativação e descarregamento recurso atualmente não funciona. Em vez disso, use o descarregamento de PyTorch ativação nativo.

Incluiu um patch para corrigir a regressão de desempenho discutida no tópico do problema em https://github.com/pytorch/pytorch/issues/117748 no repositório. PyTorch GitHub

SMPContêiner Docker para PyTorch v2.2.0 com v12.1 CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Foi adicionado suporte para PyTorch v2.1.2.

Suporte descontinuado para Hugging Face Transformers v4.31.0.

Foi descoberto um problema: o ajuste fino do modelo Hugging Face Llama 2 com e faz FSDP com que o attn_implementation=flash_attention_2 modelo diverja. Para referência, consulte o tíquete de edição no repositório Hugging Face Transformers. GitHub Para evitar o problema de divergência, use. attn_implementation=sdpa Como alternativa, use a implementação do modelo de SMP transformador use_smp_implementation=True configurando.

SMPContêiner Docker para PyTorch v2.1.2 com v12.1 CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Um novo torch.sagemaker pacote, totalmente renovado em relação ao smdistributed.modelparallel.torch pacote anterior na v1.x. SMP

Support para PyTorch 2.0.1.

Support for PyTorch FSDP.

Implementação do paralelismo de tensores por meio da integração com a biblioteca Transformer Engine.

Support tanto para SageMaker Training quanto para SageMaker HyperPod.

SMPA v2 o reformulou APIs completamente e fornece o pacote. torch.sagemaker Na maioria das vezes, você só precisa inicializar com o torch.sagemaker.init() módulo e passar os parâmetros de configuração paralela do modelo. Com esse novo pacote, você pode simplificar significativamente as modificações de código em seu script de treinamento. Para saber mais sobre como adaptar seu script de treinamento para usar a SMP v2, consulte. Use a biblioteca de paralelismo de SageMaker modelos v2

Se você usou a SMP v1 para treinar modelos do Hugging Face Transformer e deseja reutilizar os modelos na v2, consulte. SMP Atualize da SMP v1 para a SMP v2

Para PyTorch FSDP treinamento, você deve usar a SMP v2.

Atualmente, o ponto de verificação de ativação funciona apenas com as seguintes políticas de empacotamento com. FSDP

Para usarAtivação e descarregamento, o tipo FSDP de ponto de verificação de ativação deve ser REENTRANT.

Ao executar com o tensor parallel habilitado com o grau paralelo de dados fragmentados definido como1, você deve usar. backend = nccl A opção smddp de back-end não é suportada nesse cenário.

É necessário usar o Transformer Engine PyTorch com a SMP biblioteca mesmo quando não está usando o paralelismo de tensores.

A partir desta versão, a documentação da biblioteca de paralelismo de SageMaker modelos está totalmente disponível neste Guia do desenvolvedor da Amazon SageMaker . Em favor deste guia completo do desenvolvedor para SMP v2 no Amazon SageMaker Developer Guide, a referência adicional para SMP v1.x na documentação do SageMaker SDKPython está obsoleta. Se você ainda precisar da documentação da SMP v1.x, o guia do desenvolvedor da v1.x está disponível em, Biblioteca de paralelismo de SageMaker modelos (arquivada) v1.x e a referência da biblioteca Python SMP v1.x está disponível na documentação do SMP Python v2.199.0. SageMaker SDK

Suporte descontinuado para TensorFlow.

Não há suporte para paralelismo de pipeline na v2. SMP

Não há suporte para a DeepSpeed biblioteca em favor da nativa PyTorchFSDP.

SMPContêiner Docker para PyTorch v2.0.1 com v12.1 CUDA

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121