Execute treinamento distribuído com a biblioteca de SageMaker paralelismo de dados distribuídos

A biblioteca de paralelismo de dados SageMaker distribuídos (SMDDP) amplia os recursos de SageMaker treinamento em modelos de aprendizado profundo com eficiência de escalabilidade quase linear, fornecendo implementações de operações de comunicação coletiva otimizadas para infraestrutura. AWS

Ao treinar grandes modelos de aprendizado de máquina (ML), como modelos de linguagem grande (LLM) e modelos de difusão, em um grande conjunto de dados de treinamento, os profissionais de ML usam clusters de aceleradores e técnicas de treinamento distribuídas para reduzir o tempo de treinamento ou resolver restrições de memória para modelos que não cabem em cada memória da GPU. Os profissionais de ML geralmente começam com vários aceleradores em uma única instância e depois escalam para clusters de instâncias à medida que seus requisitos de carga de trabalho aumentam. À medida que o tamanho do cluster aumenta, também aumenta a sobrecarga de comunicação entre vários nós, o que leva à queda no desempenho computacional geral.

Para resolver esses problemas de sobrecarga e memória, a biblioteca SMDDP oferece o seguinte.

Para saber mais sobre os detalhes das ofertas da biblioteca SMDDP, vá para. Introdução à biblioteca de SageMaker paralelismo de dados distribuídos

Para obter mais informações sobre treinamento com a estratégia paralela de modelos oferecida pela SageMaker, consulte também. Biblioteca de paralelismo de SageMaker modelos (arquivada) v1.x