View a markdown version of this page

HyperPod recursos de treinamento inúteis - SageMaker IA da Amazon
Repositórios

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

HyperPod recursos de treinamento inúteis

Consulte as páginas a seguir para saber mais sobre os recursos de treinamento no treinamento sem controle.

Tópicos

Repositórios SageMaker HyperPod de treinamento inúteis da Amazon Check*

HyperPod o treinamento sem necessidade de verificação acelera a recuperação de falhas de cluster em ambientes de treinamento distribuídos em grande escala por meio de otimizações no nível da estrutura. Essas otimizações são fornecidas por meio de uma imagem básica de contêiner que inclui melhorias aprimoradas na inicialização do NCCL, otimizações no carregamento de dados e componentes de recuperação em andamento e sem necessidade de verificação. O pacote de treinamento HyperPod Checkpointless é construído sobre essa base.

O treinamento Checkpointless é ativado por meio de três faixas de otimização que funcionam em conjunto:

  • Melhorias na inicialização da comunicação (NCCL e Gloo) - Elimine os gargalos de comunicação descentralizando as informações de classificação por pares e anéis (caixa vermelha abaixo).

  • Otimizações de carregamento de dados - Reduza o tempo necessário para servir o primeiro lote de dados durante as operações de reinicialização (caixas laranja abaixo).

  • Redução da sobrecarga de reinicialização do programa - minimize os custos de reinicialização e permita o reabastecimento sem necessidade de verificação por meio da recuperação do processo em nós íntegros (caixas azuis e verdes abaixo).

Duas GPUs executando etapas de treinamento de modelos em paralelo, com dados alimentando cada etapa e pontos de verificação salvos periodicamente.