Trabalhos de treinamento para o perfil Cadernos de exemplo do Depurador para a análise de parâmetros do modelo

cadernos de exemplos do Depurador

SageMaker Os notebooks de exemplo do Debugger são fornecidos no repositório aws/. amazon-sagemaker-examples Os cadernos de exemplo do Debugger orientam você nos casos de uso básicos e avançados de trabalhos de treinamento de depuração e criação de perfil.

Recomendamos que você execute os notebooks de exemplo no SageMaker Studio ou em uma instância do SageMaker Notebook porque a maioria dos exemplos foi projetada para trabalhos de treinamento no ecossistema de SageMaker IA, incluindo Amazon EC2, Amazon S3 e Amazon SageMaker Python SDK.

Para clonar o repositório de exemplo no SageMaker Studio, siga as instruções no Amazon SageMaker Studio Tour.

Para encontrar os exemplos em uma instância do SageMaker Notebook, siga as instruções em SageMaker Notebook Instance Example Notebooks.

Importante

Para usar os novos recursos do Debugger, você precisa atualizar o SDK do SageMaker Python e a biblioteca cliente. SMDebug No kernel do IPython, no Jupyter Notebook JupyterLab ou no ambiente, execute o código a seguir para instalar as versões mais recentes das bibliotecas e reiniciar o kernel.


import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

Cadernos de exemplo do Depurador para a criação de perfis de trabalhos de treinamento

A lista a seguir mostra exemplos de cadernos do Debugger que apresentam a adaptabilidade do Debugger para monitorar e criar perfis de tarefas de treinamento para vários modelos, conjuntos de dados e estruturas de machine learning.

Título do caderno	Framework	Modelo	Conjunto de dados	Descrição
Análise de dados de perfil do Amazon SageMaker Debugger	TensorFlow	Keras 50 ResNet	Cifar-10	Este notebook fornece uma introdução à análise interativa de dados perfilados capturados pelo SageMaker Debugger. Explore a funcionalidade completa das ferramentas de análise interativa `SMDebug`.
Treinamento de aprendizado de máquina de perfil com o Amazon SageMaker Debugger	TensorFlow	Rede neural convolucional 1-D	Conjunto de dados do IMDB	Crie o perfil de uma CNN TensorFlow 1-D para análise de sentimentos dos dados do IMDB que consistem em resenhas de filmes rotuladas como tendo sentimentos positivos ou negativos. Explore os insights do Studio Debugger e o relatório de criação de perfil do Debugger.
TensorFlow ResNet Modelo de criação de perfil de treinamento com várias configurações de treinamento distribuídas	TensorFlow	ResNet50	Cifar-10	Execute trabalhos TensorFlow de treinamento com várias configurações de treinamento distribuídas, monitore a utilização dos recursos do sistema e defina o perfil do desempenho do modelo usando o Debugger.
PyTorch ResNet Modelo de criação de perfil de treinamento com várias configurações de treinamento distribuídas	PyTorch	ResNet50	Cifar-10	Execute trabalhos PyTorch de treinamento com várias configurações de treinamento distribuídas, monitore a utilização dos recursos do sistema e defina o perfil do desempenho do modelo usando o Debugger.

Cadernos de exemplo do Depurador para a análise de parâmetros do modelo

A lista a seguir mostra exemplos de cadernos do Debugger que apresentam a adaptabilidade do Debugger para depurar trabalhos de treinamento para vários modelos, conjuntos de dados e estruturas de machine learning.

Título do caderno	Framework	Modelo	Conjunto de dados	Descrição
Amazon SageMaker Debugger - Use uma regra integrada	TensorFlow	Rede neural convolucional	MNIST	Use as regras integradas do Amazon SageMaker Debugger para depurar um modelo. TensorFlow
Amazon SageMaker Debugger - Tensorflow 2.1	TensorFlow	ResNet50	Cifar-10	Use a configuração de gancho do Amazon SageMaker Debugger e as regras integradas para depurar um modelo com a estrutura Tensorflow 2.1.
Visualizando tensores de depuração do treinamento MXNet	MXNet	Rede Neural Convolucional Gluon	Modo MNIST	Execute um trabalho de treinamento e configure o SageMaker Debugger para armazenar todos os tensores desse trabalho e, em seguida, visualize esses tensores em um notebook.
Habilite o treinamento pontual com o Amazon SageMaker Debugger	MXNet	Rede Neural Convolucional Gluon	Modo MNIST	Saiba como o Debugger coleta dados de tensores de um trabalho de treinamento em uma instância spot e como usar as regras integradas do Debugger com treinamento spot gerenciado.
Explique um XGBoost modelo que prevê a renda de um indivíduo com o Amazon SageMaker Debugger	XGBoost	XGBoost Regressão	Conjunto de dados do Censo de Adultos	Aprenda a usar o gancho do Debugger e as regras integradas para coletar e visualizar dados de tensores de um modelo de XGBoost regressão, como valores de perda, recursos e valores SHAP.

Para encontrar visualizações avançadas dos parâmetros do modelo e dos casos de uso, consulte o próximo tópico em Demonstrações e visualização avançadas do Depurador.

Atenção O Javascript está desativado ou não está disponível no seu navegador.

Para usar a documentação da AWS, o Javascript deve estar ativado. Consulte as páginas de Ajuda do navegador para obter instruções.

Convenções do documento

Tutoriais em vídeo

Demonstrações e visualização avançadas