Trabalhos de treinamento para o perfil Cadernos de exemplo do Depurador para a análise de parâmetros do modelo

cadernos de exemplos do Depurador

Os cadernos de exemplo do SageMaker Debugger são fornecidos no repositório aws/amazon-sagemaker-examples. Os cadernos de exemplo do Debugger orientam você nos casos de uso básicos e avançados de trabalhos de treinamento de depuração e criação de perfil.

Recomendamos que você execute os cadernos de exemplo no SageMaker Studio ou em uma instância do caderno do SageMaker porque a maioria dos exemplos foi projetada para trabalhos de treinamento no ecossistema do SageMaker, incluindo Amazon EC2, Amazon S3 e Amazon SageMaker Python SDK.

Para clonar o repositório de exemplo no SageMaker Studio, siga as instruções no Amazon SageMaker Studio Tour.

Para encontrar os exemplos em uma instância do caderno do SageMaker, siga as instruções em cadernos de exemplo de instância do SageMaker Notebook.

Importante

Para usar os novos atributos do Debugger, você precisa atualizar o SageMaker Python SDK e a biblioteca de cliente do SMDebug. No kernel do iPython, no caderno Jupyter ou no ambiente do JupyterLab, execute o código a seguir para instalar as versões mais recentes das bibliotecas e reiniciar o kernel.


import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

Cadernos de exemplo do Depurador para a criação de perfis de trabalhos de treinamento

A lista a seguir mostra exemplos de cadernos do Debugger que apresentam a adaptabilidade do Debugger para monitorar e criar perfis de tarefas de treinamento para vários modelos, conjuntos de dados e estruturas de machine learning.

Título do caderno	Framework	Modelo	Conjunto de dados	Descrição
Análise de dados de perfil do Amazon SageMaker Debugger	TensorFlow	Keras ResNet50	Cifar-10	Este caderno fornece uma introdução à análise interativa de dados perfilados capturados pelo SageMaker Debugger. Explore a funcionalidade completa das ferramentas de análise interativa `SMDebug`.
Crie perfis de treinamento de machine learning com o Amazon SageMaker Debugger	TensorFlow	Rede neural convolucional 1-D	Conjunto de dados do IMDB	Crie o perfil de uma CNN 1-D do TensorFlow para análise de sentimentos dos dados do IMDB que consistem em resenhas de filmes rotuladas como positivas ou negativas. Explore os insights do Studio Debugger e o relatório de criação de perfil do Debugger.
Definindo o perfil do treinamento do modelo TensorFlow ResNet com várias configurações de treinamento distribuídas	TensorFlow	ResNet50	Cifar-10	Execute trabalhos de treinamento do TensorFlow com várias configurações de treinamento distribuídas, monitore a utilização dos recursos do sistema e defina o perfil do desempenho do modelo usando o Debugger.
Definindo o perfil do treinamento do modelo PyTorch ResNet com várias configurações de treinamento distribuídas	PyTorch	ResNet50	Cifar-10	Execute trabalhos de treinamento do PyTorch com várias configurações de treinamento distribuídas, monitore a utilização dos recursos do sistema e defina o perfil do desempenho do modelo usando o Debugger.

Cadernos de exemplo do Depurador para a análise de parâmetros do modelo

A lista a seguir mostra exemplos de cadernos do Debugger que apresentam a adaptabilidade do Debugger para depurar trabalhos de treinamento para vários modelos, conjuntos de dados e estruturas de machine learning.

Título do caderno	Framework	Modelo	Conjunto de dados	Descrição
Amazon SageMaker Debugger: use uma regra integrada	TensorFlow	Rede neural convolucional	MNIST	Use as regras integradas do Amazon SageMaker Debugger para depurar um modelo Tensorflow.
Amazon SageMaker Debugger: Tensorflow 2.1	TensorFlow	ResNet50	Cifar-10	Use a configuração de hook do Amazon SageMaker Debugger e as regras integradas para depurar um modelo com a estrutura Tensorflow 2.1.
Visualizar tensores de depuração do treinamento MXNet	MXNet	Rede Neural Convolucional Gluon	Modo MNIST	Execute um trabalho de treinamento e configure o SageMaker Debugger para armazenar todos os tensores desse trabalho e, em seguida, visualize esses tensores em um caderno.
Habilite o treinamento pontual com o Amazon SageMaker Debugger	MXNet	Rede Neural Convolucional Gluon	Modo MNIST	Saiba como o Debugger coleta dados de tensores de um trabalho de treinamento em uma instância spot e como usar as regras integradas do Debugger com treinamento spot gerenciado.
Explique um modelo XGBoost que prevê a renda de um indivíduo com o Amazon SageMaker Debugger	XGBoost	Regressão XGBoost	Conjunto de dados do Censo de Adultos	Aprenda a usar o hook do Debugger e as regras integradas para coletar e visualizar dados de tensores de um modelo de regressão do XGBoost, como valores de perda, atributos e valores SHAP.

Para encontrar visualizações avançadas dos parâmetros do modelo e dos casos de uso, consulte o próximo tópico em Demonstrações e visualização avançadas do Depurador.

Atenção O Javascript está desativado ou não está disponível no seu navegador.

Para usar a documentação da AWS, o Javascript deve estar ativado. Consulte as páginas de Ajuda do navegador para obter instruções.

Convenções do documento

Tutoriais em vídeo

Demonstrações e visualização avançadas