Crie o perfil e otimize o desempenho computacional

Ao treinar modelos de aprendizado profundo de última geração que crescem rapidamente em tamanho, escalar o trabalho de treinamento desses modelos para um grande cluster de GPU e identificar problemas de desempenho computacional de bilhões e trilhões de operações e comunicações em cada iteração do processo de descida de gradiente torna-se um desafio.

SageMaker A IA fornece ferramentas de criação de perfil para visualizar e diagnosticar esses problemas complexos de computação decorrentes da execução de trabalhos de treinamento em recursos de computação em AWS nuvem. Há duas opções de criação de perfil que a SageMaker IA oferece: o Amazon SageMaker Profiler e um monitor de utilização de recursos no Amazon Studio Classic. SageMaker Veja as seguintes introduções das duas funcionalidades para obter quick Insights e saber qual delas usar de acordo com suas necessidades:

Amazon SageMaker Profiler

O Amazon SageMaker Profiler é um recurso de criação de perfil da SageMaker IA com o qual você pode se aprofundar nos recursos computacionais provisionados enquanto treina modelos de aprendizado profundo e obter visibilidade dos detalhes no nível da operação. SageMaker O Profiler fornece módulos Python para adicionar anotações PyTorch ou TensorFlow treinar scripts e ativar o Profiler. SageMaker Você pode acessar os módulos por meio do SDK do SageMaker Python e dos contêineres de aprendizado AWS profundo.

Com o SageMaker Profiler, você pode rastrear todas as atividades em CPUs e GPUs, como utilizações de CPU e GPU, execuções de kernel em GPUs, lançamentos de kernel em CPUs, operações de sincronização, operações de memória em CPUs e GPUs, latências entre lançamentos de kernel e execuções correspondentes e transferência de dados entre CPUs e GPUs.

SageMaker O Profiler também oferece uma interface de usuário (UI) que visualiza o perfil, um resumo estatístico dos eventos perfilados e o cronograma de um trabalho de treinamento para rastrear e compreender a relação temporal dos eventos entre GPUs e CPUs.

Para saber mais sobre o SageMaker Profiler, consulteAmazon SageMaker Profiler.

Monitoramento AWS de recursos computacionais no Amazon SageMaker Studio Classic

SageMaker A IA também fornece uma interface de usuário no Studio Classic para monitorar a utilização de recursos em alto nível, mas com mais granularidade em comparação com as métricas de utilização padrão coletadas da IA para. SageMaker CloudWatch

Para qualquer trabalho de treinamento que você executa em SageMaker IA usando o SDK do SageMaker Python, a SageMaker IA começa a criar perfis de métricas básicas de utilização de recursos, como utilização da CPU, utilização da GPU, utilização da memória da GPU, rede e tempo de espera. I/O Ele coleta essas métricas de utilização de recursos a cada 500 milissegundos.

Em comparação com CloudWatch as métricas da Amazon, que coletam métricas em intervalos de 1 segundo, a funcionalidade de monitoramento da SageMaker IA fornece uma granularidade mais precisa nas métricas de utilização de recursos em intervalos de até 100 milissegundos (0,1 segundo), para que você possa se aprofundar nas métricas no nível de uma operação ou etapa.

Para acessar o painel para monitorar as métricas de utilização de recursos de um trabalho de treinamento, consulte a interface do usuário do SageMaker AI Debugger no Studio Experiments. SageMaker