Depurando e melhorando o desempenho do modelo

A essência do treinamento de modelos de aprendizado de máquina, redes neurais de aprendizado profundo e modelos de transformadores está em alcançar uma convergência estável de modelos e, como tal, state-of-the-art os modelos têm milhões, bilhões ou trilhões de parâmetros de modelo. O número de operações para atualizar o número gigantesco de parâmetros do modelo durante cada iteração pode facilmente se tornar astronômico. Para identificar problemas de convergência do modelo, é importante poder acessar os parâmetros, ativações e gradientes do modelo calculados durante os processos de otimização.

SageMaker A Amazon fornece duas ferramentas de depuração para ajudar a identificar esses problemas de convergência e obter visibilidade de seus modelos.

Amazon SageMaker com TensorBoard

Para oferecer uma maior compatibilidade com as ferramentas comunitárias de código aberto na plataforma de SageMaker treinamento, SageMaker hospeda TensorBoard como um aplicativo no domínio. SageMaker Você pode trazer seus trabalhos de treinamento SageMaker e continuar usando o redator de TensorBoard resumos para coletar os tensores de saída do modelo. Por ser TensorBoard implementado no SageMaker domínio, ele também oferece mais opções para gerenciar perfis de usuário no SageMaker domínio em sua AWS conta e fornece um controle preciso sobre os perfis de usuário ao conceder acesso a ações e recursos específicos. Para saber mais, consulte TensorBoard na Amazon SageMaker.

SageMaker Depurador Amazon

O Amazon SageMaker Debugger é um recurso SageMaker que fornece ferramentas para registrar ganchos em retornos de chamada para extrair tensores de saída do modelo e salvá-los no Amazon Simple Storage Service. Ele fornece regras integradas para detectar problemas de convergência de modelos, como sobreajuste, funções de ativação saturadas, gradientes desaparecendo e muito mais. Você também pode configurar as regras integradas com o Amazon CloudWatch Events e AWS Lambda realizar ações automatizadas contra problemas detectados, além de configurar o Amazon Simple Notification Service para receber notificações por e-mail ou texto. Para saber mais, consulte SageMaker Depurador Amazon.