As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Consulte as notas de versão a seguir para acompanhar as atualizações mais recentes da biblioteca de paralelismo de dados distribuídos de SageMaker IA (SMDDP).
A biblioteca de paralelismo de dados distribuídos de SageMaker IA v2.5.0
Data: 17 de outubro de 2024
Novos recursos
-
Foi adicionado suporte para PyTorch v2.4.1 com CUDA v12.1.
Integração em contêineres Docker distribuídos pela biblioteca de paralelismo de modelos de SageMaker IA (SMP)
Essa versão da biblioteca SMDDP foi migrada para A biblioteca de paralelismo de SageMaker modelos v2.6.0.
658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121Para regiões em que as imagens do Docker SMP estão disponíveis, consulte Regiões da AWS.
Arquivo binário desta versão
Baixe ou instale a biblioteca usando a seguinte URL:
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.4.1/cu121/2024-10-09/smdistributed_dataparallel-2.5.0-cp311-cp311-linux_x86_64.whlA biblioteca de paralelismo de dados distribuídos de SageMaker IA v2.3.0
Data: 11 de junho de 2024
Novos recursos
-
Foi adicionado suporte para PyTorch v2.3.0 com CUDA v12.1 e Python v3.11.
-
Foi adicionado suporte para o PyTorch Lightning v2.2.5. Isso é integrado ao contêiner da estrutura de SageMaker IA para PyTorch v2.3.0.
-
Adicionada a validação do tipo de instância durante a importação para evitar o carregamento da biblioteca SMDDP em tipos de instância não compatíveis. Para obter uma lista de tipos de instância compatíveis com a biblioteca SMDDP, consulte Estruturas e tipos Regiões da AWS de instâncias compatíveis.
Integração com contêineres de estrutura de SageMaker IA
Essa versão da biblioteca SMDDP é migrada para o seguinte contêiner do SageMaker AI
-
PyTorch v2.3.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker
Para obter uma lista completa das versões da biblioteca SMDDP e dos contêineres pré-criados, consulte Estruturas e tipos Regiões da AWS de instâncias compatíveis.
Arquivo binário desta versão
Baixe ou instale a biblioteca usando a seguinte URL:
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whlOutras alterações
-
A biblioteca SMDDP v2.2.0 está integrada ao contêiner da estrutura de SageMaker IA para v2.2.0. PyTorch
A biblioteca de paralelismo de dados distribuídos de SageMaker IA v2.2.0
Data: 4 de março de 2024
Novos recursos
-
Foi adicionado suporte para PyTorch v2.2.0 com CUDA v12.1.
Integração em contêineres Docker distribuídos pela biblioteca de paralelismo de modelos de SageMaker IA (SMP)
Essa versão da biblioteca SMDDP foi migrada para A biblioteca de paralelismo de SageMaker modelos v2.2.0.
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121Para regiões em que as imagens do Docker SMP estão disponíveis, consulte Regiões da AWS.
Arquivo binário desta versão
Baixe ou instale a biblioteca usando a seguinte URL:
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whlA biblioteca de paralelismo de dados distribuídos de SageMaker IA v2.1.0
Data: 1.º de março de 2024
Novos recursos
-
Foi adicionado suporte para PyTorch v2.1.0 com CUDA v12.1.
Correções de bugs
-
Corrigido o problema de vazamento de memória da CPU em SMDDP v2.0.1.
Integração com contêineres de estrutura de SageMaker IA
-
PyTorch v2.1.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker
Integração em contêineres Docker distribuídos pela biblioteca de paralelismo de modelos de SageMaker IA (SMP)
Essa versão da biblioteca SMDDP foi migrada para A biblioteca de paralelismo de SageMaker modelos v2.1.0.
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121Para regiões em que as imagens do Docker SMP estão disponíveis, consulte Regiões da AWS.
Arquivo binário desta versão
Baixe ou instale a biblioteca usando a seguinte URL:
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whlA biblioteca de paralelismo de dados distribuídos de SageMaker IA v2.0.1
Data: 7 de dezembro de 2023
Novos recursos
-
Foi adicionada uma nova implementação SMDDP de operação
AllGathercoletiva otimizada para recursos AWS computacionais e infraestrutura de rede. Para saber mais, consulte Operação coletiva do SMDDP AllGather. -
A operação
AllGathercoletiva SMDDP é compatível com PyTorch FSDP e. DeepSpeed Para saber mais, consulte Use a biblioteca SMDDP em seu PyTorch script de treinamento. -
Suporte adicionado para PyTorch v2.0.1
Problemas conhecidos
-
Há um problema de vazamento de memória da CPU devido ao aumento gradual da memória da CPU durante o treinamento com SMDDP
AllReduceno modo DDP.
Integração com contêineres de estrutura de SageMaker IA
-
PyTorch v2.0.1
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker
Arquivo binário desta versão
Baixe ou instale a biblioteca usando a seguinte URL:
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whlOutras alterações
-
A partir desta versão, a documentação da biblioteca SMDDP está totalmente disponível neste Amazon SageMaker AI Developer Guide. Em favor do guia completo do desenvolvedor para SMDDP v2 incluído no Amazon SageMaker AI Developer Guide, a documentação para a referência adicional para SMDDP v1.x na
documentação do AI SageMaker Python SDK não é mais suportada. Se você ainda precisar da documentação do SMP v1.x, consulte o seguinte resumo da documentação na documentação do Python SageMaker SDK v2.212.0.
