Trabalhos de treinamento para o perfil Cadernos de exemplo do Depurador para a análise de parâmetros do modelo

cadernos de exemplos do Depurador

nota

O Amazon SageMaker Debugger não está mais aberto a novos clientes. Os clientes existentes podem continuar usando o serviço normalmente. AWS continua investindo em melhorias de segurança e disponibilidade para o Debugger, mas não planejamos introduzir novos recursos. Para obter mais informações, consulte Alteração na disponibilidade do depurador.

SageMaker Os notebooks de exemplo do Debugger são fornecidos no repositório -sagemaker-examples. aws/amazon Os cadernos de exemplo do Debugger orientam você nos casos de uso básicos e avançados de trabalhos de treinamento de depuração e criação de perfil.

Recomendamos que você execute os notebooks de exemplo no SageMaker Studio ou em uma instância do SageMaker Notebook porque a maioria dos exemplos foi projetada para trabalhos de treinamento no ecossistema de SageMaker IA, incluindo Amazon EC2, Amazon S3 e Amazon SageMaker Python SDK.

Para clonar o repositório de exemplo no SageMaker Studio, siga as instruções no Amazon SageMaker Studio Tour.

Importante

Para usar os novos recursos do Debugger, você precisa atualizar o SDK do SageMaker Python e a biblioteca cliente. SMDebug No kernel, no Jupyter Notebook ou no JupyterLab ambiente do IPython, execute o código a seguir para instalar as versões mais recentes das bibliotecas e reiniciar o kernel.


import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

Cadernos de exemplo do Depurador para a criação de perfis de trabalhos de treinamento

A lista a seguir mostra exemplos de cadernos do Debugger que apresentam a adaptabilidade do Debugger para monitorar e criar perfis de tarefas de treinamento para vários modelos, conjuntos de dados e estruturas de machine learning.

Título do caderno	Framework	Modelo	Conjunto de dados	Description
Análise de dados de perfil do Amazon SageMaker Debugger	TensorFlow	Keras 50 ResNet	Cifar-10	Este caderno fornece uma introdução à análise interativa de dados perfilados capturados pelo SageMaker Debugger. Explore a funcionalidade completa das ferramentas de análise interativa `SMDebug`.
Treinamento de aprendizado de máquina de perfil com o Amazon SageMaker Debugger	TensorFlow	Rede neural convolucional 1-D	Conjunto de dados do IMDB	Crie o perfil de uma CNN TensorFlow 1-D para análise de sentimentos de dados do IMDB que consistem em resenhas de filmes rotuladas como tendo sentimentos positivos ou negativos. Explore os insights do Studio Debugger e o relatório de criação de perfil do Debugger.
Treinamento de TensorFlow ResNet modelos de perfil com várias configurações de treinamento distribuídas	TensorFlow	ResNet50	Cifar-10	Execute trabalhos TensorFlow de treinamento com várias configurações de treinamento distribuídas, monitore a utilização de recursos do sistema e defina o desempenho do modelo de perfil usando o Debugger.
Treinamento de PyTorch ResNet modelos de perfil com várias configurações de treinamento distribuídas	PyTorch	ResNet50	Cifar-10	Execute trabalhos PyTorch de treinamento com várias configurações de treinamento distribuídas, monitore a utilização de recursos do sistema e defina o desempenho do modelo de perfil usando o Debugger.

Cadernos de exemplo do Depurador para a análise de parâmetros do modelo

A lista a seguir mostra exemplos de cadernos do Debugger que apresentam a adaptabilidade do Debugger para depurar trabalhos de treinamento para vários modelos, conjuntos de dados e estruturas de machine learning.

Título do caderno	Framework	Modelo	Conjunto de dados	Description
Amazon SageMaker Debugger - Use uma regra incorporada	TensorFlow	Rede neural convolucional	MNIST	Use as regras integradas do Amazon SageMaker Debugger para depurar um modelo. TensorFlow
Amazon SageMaker Debugger - Tensorflow 2.1	TensorFlow	ResNet50	Cifar-10	Use a configuração do gancho do Amazon SageMaker Debugger e as regras integradas para depurar um modelo com a estrutura Tensorflow 2.1.
Visualizar tensores de depuração do treinamento MXNet	MXNet	Rede Neural Convolucional Gluon	Modo MNIST	Execute um trabalho de treinamento e configure o SageMaker Debugger para armazenar todos os tensores desse trabalho e, em seguida, visualize esses tensores em um notebook.
Habilite o treinamento pontual com o Amazon SageMaker Debugger	MXNet	Rede Neural Convolucional Gluon	Modo MNIST	Saiba como o Debugger coleta dados de tensores de um trabalho de treinamento em uma instância spot e como usar as regras integradas do Debugger com treinamento spot gerenciado.
Explique um modelo XGBoost que prevê a renda de um indivíduo com o Amazon Debugger SageMaker	XGBoost	Regressão XGBoost	Conjunto de dados do Censo de Adultos	Aprenda a usar o hook do Debugger e as regras integradas para coletar e visualizar dados de tensores de um modelo de regressão do XGBoost, como valores de perda, atributos e valores SHAP.

Para encontrar visualizações avançadas dos parâmetros do modelo e dos casos de uso, consulte o próximo tópico em Demonstrações e visualização avançadas do Depurador.

Atenção O Javascript está desativado ou não está disponível no seu navegador.

Para usar a documentação da AWS, o Javascript deve estar ativado. Consulte as páginas de Ajuda do navegador para obter instruções.

Convenções do documento

Tutoriais em vídeo

Demonstrações e visualização avançadas