Notebook di esempio con debugger - Amazon SageMaker AI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Notebook di esempio con debugger

SageMaker I notebook di esempio di debugger sono disponibili nel repository aws/. amazon-sagemaker-examples I notebbok di esempio di Debugger illustrano i casi d'uso di base e avanzati dei processi di addestramento per il debug e la profilazione.

Ti consigliamo di eseguire i notebook di esempio su SageMaker Studio o un'istanza SageMaker Notebook perché la maggior parte degli esempi è progettata per lavori di formazione nell'ecosistema di SageMaker intelligenza artificiale, tra cui Amazon, Amazon EC2 S3 e Amazon Python. SageMaker SDK

Per clonare il repository di esempio su SageMaker Studio, segui le istruzioni su Amazon SageMaker Studio Tour.

Per trovare gli esempi in un'istanza SageMaker Notebook, segui le istruzioni in Notebook Instance Example SageMaker Notebooks.

Importante

Per utilizzare le nuove funzionalità del Debugger, è necessario aggiornare SageMaker Python SDK e la libreria client. SMDebug Nel iPython kernel, Jupyter Notebook o nell' JupyterLabambiente, esegui il codice seguente per installare le versioni più recenti delle librerie e riavviare il kernel.

import sys import IPython !{sys.executable} -m pip install -U sagemaker smdebug IPython.Application.instance().kernel.do_shutdown(True)

Notebook di esempio con Debugger per la profilazione dei lavori di formazione

L'elenco seguente mostra alcuni notebook di esempio di Debugger che presentano l'adattabilità di Debugger per monitorare e profilare i processi di addestramento per vari modelli, set di dati e framework di machine learning.

Titolo del notebook Framework Modello Set di dati Descrizione

Analisi dei dati di profilazione di Amazon SageMaker Debugger

TensorFlow

ResNetKeras 50

Cifar-10

Questo notebook fornisce un'introduzione all'analisi interattiva dei dati profilati acquisiti da SageMaker Debugger. Esplora tutte le funzionalità degli strumenti di analisi interattivi SMDebug.

Profilare la formazione sull'apprendimento automatico con Amazon SageMaker Debugger

TensorFlow

Rete neurale convoluzionale 1D

set di dati IMDB

Profilate un profilo TensorFlow 1D CNN per l'analisi del sentiment dei IMDB dati, consistente nelle recensioni di film etichettate come positive o negative. Esplora gli approfondimenti di Studio Debugger e il report sulla profilazione di Debugger.

Profilazione del TensorFlow ResNet modello di allenamento con varie impostazioni di allenamento distribuite

TensorFlow

ResNet50 Cifar-10

Esegui lavori di TensorFlow formazione con varie impostazioni di formazione distribuite, monitora l'utilizzo delle risorse di sistema e le prestazioni del modello di profilo utilizzando Debugger.

Profilazione del PyTorch ResNet modello di allenamento con varie impostazioni di allenamento distribuite

PyTorch

ResNet50

Cifar-10

Esegui lavori di PyTorch formazione con varie impostazioni di formazione distribuite, monitora l'utilizzo delle risorse di sistema e le prestazioni del modello di profilo utilizzando Debugger.

Notebook di esempio di debugger per l'analisi dei parametri del modello

L'elenco seguente mostra alcuni notebook di esempio di Debugger che presentano l'adattabilità di Debugger per eseguire il debug dei processi di addestramento per vari modelli, set di dati e framework di machine learning.

Titolo del notebook Framework Modello Set di dati Descrizione

Amazon SageMaker Debugger: usa una regola integrata

TensorFlow

Rete neurale convoluzionale

MNIST

Utilizza le regole integrate di Amazon SageMaker Debugger per il debug di un modello. TensorFlow

Amazon SageMaker Debugger - Tensorflow 2.1

TensorFlow

ResNet50

Cifar-10

Utilizza la configurazione hook di Amazon SageMaker Debugger e le regole integrate per il debug di un modello con il framework Tensorflow 2.1.

Visualizzazione dei tensori di debug dell'addestramento MXNet

MXNet

Rete neurale convoluzionale Gluon

Moda MNIST

Esegui un processo di formazione e configura SageMaker Debugger per memorizzare tutti i tensori di questo lavoro, quindi visualizza quei tensori su un notebook.

Abilita la formazione Spot con Amazon SageMaker Debugger

MXNet

Rete neurale convoluzionale Gluon

Moda MNIST

Scopri come Debugger raccoglie i dati tensoriali da un processo di addestramento su un'istanza spot e come utilizzare le regole integrate di Debugger con l'addestramento spot gestito.

Spiega un XGBoost modello che prevede il reddito di una persona con Amazon SageMaker Debugger XGBoost

XGBoostRegressione

Set di dati del censimento per adulti

Scopri come utilizzare l'hook Debugger e le regole integrate per raccogliere e visualizzare i dati tensoriali da un modello di XGBoost regressione, come valori, caratteristiche e valori di perdita. SHAP

Per trovare visualizzazioni avanzate dei parametri del modello e dei casi d'uso, consulta l'argomento successivo in Demo e visualizzazione avanzate di Debugger.