Profile Training Jobs Exemples de blocs-notes de débogage pour analyser les paramètres du modèle

Exemples de blocs-notes Debugger

SageMaker Des exemples de blocs-notes de débogage sont fournis dans le référentiel aws/. amazon-sagemaker-examples Les exemples de blocs-notes Debugger vous présentent des cas d'utilisation de niveau basique à avancé de tâches d'entraînement de débogage et de profilage.

Nous vous recommandons d'exécuter les exemples de blocs-notes sur SageMaker Studio ou sur une instance de SageMaker Notebook, car la plupart des exemples sont conçus pour les tâches de formation dans l'écosystème de l' SageMaker IA, notamment Amazon EC2, Amazon S3 et le SDK Amazon SageMaker Python.

Pour cloner l'exemple de référentiel dans SageMaker Studio, suivez les instructions d'Amazon SageMaker Studio Tour.

Pour trouver les exemples dans une instance de SageMaker Notebook, suivez les instructions de la section SageMaker Notebook Instance Example Notebooks.

Important

Pour utiliser les nouvelles fonctionnalités du Debugger, vous devez mettre à niveau le SDK SageMaker Python et la SMDebug bibliothèque cliente. Dans votre noyau IPython, Jupyter Notebook JupyterLab ou votre environnement, exécutez le code suivant pour installer les dernières versions des bibliothèques et redémarrer le noyau.


import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

Exemples de blocs-notes de débogage pour le profilage des tâches de formation

La liste suivante contient des exemples de blocs-notes Debugger présentant l'adaptabilité de Debugger au contrôle et au profilage des tâches d'entraînement pour divers modèles de machine learning, jeux de données et cadres.

Titre du bloc-notes	Framework	Modèle	Jeux de données	Description
Analyse des données de profilage Amazon SageMaker Debugger	TensorFlow	Keras 50 ResNet	Cifar-10	Ce bloc-notes fournit une introduction à l'analyse interactive des données profilées capturées par SageMaker Debugger. Explorez toutes les fonctionnalités des outils d'analyse interactifs `SMDebug`.
Formation à l'apprentissage automatique des profils avec Amazon SageMaker Debugger	TensorFlow	Réseau neuronal convolutif 1-D	Jeu de données IMDB	Profilez un CNN en TensorFlow 1 D pour analyser les sentiments des données IMDB, qui consistent en des critiques de films étiquetées comme ayant un sentiment positif ou négatif. Explorez les informations de Studio Debugger et le rapport de profilage de Debugger.
Profilage TensorFlow ResNet du modèle d'entraînement avec différents paramètres d'entraînement distribués	TensorFlow	ResNet50	Cifar-10	Exécutez des tâches de TensorFlow formation avec différents paramètres d'entraînement distribués, surveillez l'utilisation des ressources du système et profilez les performances du modèle à l'aide de Debugger.
Profilage PyTorch ResNet du modèle d'entraînement avec différents paramètres d'entraînement distribués	PyTorch	ResNet50	Cifar-10	Exécutez des tâches de PyTorch formation avec différents paramètres d'entraînement distribués, surveillez l'utilisation des ressources du système et profilez les performances du modèle à l'aide de Debugger.

Exemples de blocs-notes de débogage pour analyser les paramètres du modèle

La liste suivante contient des exemples de blocs-notes Debugger présentant l'adaptabilité de Debugger au débogage des tâches d'entraînement pour divers modèles de machine learning, jeux de données et cadres.

Titre du bloc-notes	Framework	Modèle	Jeux de données	Description
Amazon SageMaker Debugger - Utiliser une règle intégrée	TensorFlow	Réseau neuronal convolutif	MNIST	Utilisez les règles intégrées d'Amazon SageMaker Debugger pour déboguer un modèle. TensorFlow
SageMaker Débogueur Amazon - Tensorflow 2.1	TensorFlow	ResNet50	Cifar-10	Utilisez la configuration du hook Amazon SageMaker Debugger et les règles intégrées pour déboguer un modèle avec le framework Tensorflow 2.1.
Visualisation des tenseurs de débogage de l'entraînement MXNet	MXNet	Réseau neuronal convolutif Gluon	Fashion MNIST	Exécutez une tâche de formation et configurez SageMaker Debugger pour stocker tous les tenseurs de cette tâche, puis visualisez ces tenseurs dans un bloc-notes.
Activez la formation ponctuelle avec Amazon SageMaker Debugger	MXNet	Réseau neuronal convolutif Gluon	Fashion MNIST	Découvrez comment Debugger collecte des données de tenseurs à partir d'une tâche d'entraînement sur une instance Spot, et comment utiliser les règles intégrées de Debugger avec un entraînement Spot géré.
Expliquer un XGBoost modèle qui prédit le revenu d'un individu avec Amazon SageMaker Debugger	XGBoost	XGBoost Régression	Jeu de données du recensement des adultes	Apprenez à utiliser le hook Debugger et les règles intégrées pour collecter et visualiser les données tensorielles d'un modèle de XGBoost régression, telles que les valeurs de perte, les fonctionnalités et les valeurs SHAP.

Pour trouver des visualisations avancées des paramètres de modèle et des cas d'utilisation, consultez la rubrique suivante : Démonstrations et visualisation avancées de Debugger.

Avertissement JavaScript est désactivé ou n'est pas disponible dans votre navigateur.

Pour que vous puissiez utiliser la documentation AWS, Javascript doit être activé. Vous trouverez des instructions sur les pages d'aide de votre navigateur.

Conventions de rédaction

Didacticiels vidéo

Démonstrations et visualisation avancées