View a markdown version of this page

Debugger-Beispiel-Notebooks - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Debugger-Beispiel-Notebooks

Anmerkung

Amazon SageMaker Debugger steht neuen Kunden nicht mehr offen. Bestehende Kunden können den Service weiterhin wie gewohnt nutzen. AWS investiert weiterhin in Sicherheits- und Verfügbarkeitsverbesserungen für Debugger, aber wir planen nicht, neue Funktionen einzuführen. Weitere Informationen finden Sie unter Änderung der Debugger-Verfügbarkeit.

SageMaker Notebooks mit Beispielen für Debugger finden Sie im Repository -sagemaker-examples. aws/amazon Die Debugger-Beispiel-Notebooks führen Sie durch grundlegende bis fortgeschrittene Anwendungsfälle von Trainingsaufträge zum Debuggen und Profilieren.

Wir empfehlen, dass Sie die Beispiel-Notebooks in SageMaker Studio oder einer SageMaker Notebook-Instance ausführen, da die meisten Beispiele für Trainingsjobs im SageMaker KI-Ökosystem konzipiert sind, einschließlich Amazon EC2, Amazon S3 und Amazon Python SDK. SageMaker

Um das Beispiel-Repository in SageMaker Studio zu klonen, folgen Sie den Anweisungen auf der Amazon SageMaker Studio Tour.

Wichtig

Um die neuen Debugger-Funktionen nutzen zu können, müssen Sie das SageMaker Python-SDK und die SMDebug Client-Bibliothek aktualisieren. Führen Sie in Ihrem IPython-Kernel, Jupyter Notebook oder Ihrer JupyterLab Umgebung den folgenden Code aus, um die neuesten Versionen der Bibliotheken zu installieren und den Kernel neu zu starten.

import sys import IPython !{sys.executable} -m pip install -U sagemaker smdebug IPython.Application.instance().kernel.do_shutdown(True)

Debugger-Beispiel-Notebooks für die Profilierung von Trainingsjobs

Die folgende Liste enthält Beispiel-Notebooks für Debugger, in denen die Anpassungsfähigkeit von Debugger zur Überwachung und Profilierung von Trainingsaufträgen für verschiedene Modelle, Datensätze und Frameworks für Machine Learning vorgestellt wird.

Notebook-Titel Framework Modell Datensatz Description

Amazon Debugger Profiling, Datenanalyse SageMaker

TensorFlow

Keras 50 ResNet

Cifar-10

Dieses Notizbuch bietet eine Einführung in die interaktive Analyse von Profildaten, die vom Debugger erfasst SageMaker wurden. Erkunden Sie den vollen Funktionsumfang der SMDebug interaktiven Analysetools.

Profilieren Sie das Training zum maschinellen Lernen mit Amazon Debugger SageMaker

TensorFlow

Neuronales 1-D-Faltungsnetzwerk

IMDB-Datensatz

Profilieren Sie ein TensorFlow 1-D-CNN für die Stimmungsanalyse von IMDB-Daten, die aus Filmkritiken bestehen, die als positiv oder negativ eingestuft wurden. Sehen Sie sich den Studio Debugger Einsichten und den Bericht zur Debugger-Profilerstellung an.

Erstellung von Profilen für das TensorFlow ResNet Modelltraining mit verschiedenen verteilten Trainingseinstellungen

TensorFlow

ResNet50 Cifar-10

Führen Sie TensorFlow Trainingsjobs mit verschiedenen verteilten Trainingseinstellungen aus, überwachen Sie die Auslastung der Systemressourcen und erstellen Sie mithilfe des Debuggers ein Leistungsprofil für Ihr Modell.

Erstellung von Profilen für PyTorch ResNet das Modelltraining mit verschiedenen verteilten Trainingseinstellungen

PyTorch

ResNet50

Cifar-10

Führen Sie PyTorch Trainingsjobs mit verschiedenen verteilten Trainingseinstellungen aus, überwachen Sie die Auslastung der Systemressourcen und erstellen Sie mithilfe des Debuggers ein Leistungsprofil für Ihr Modell.

Debugger-Beispiel-Notebooks zur Analyse von Modellparametern

Die folgende Liste enthält Beispiel-Notebooks für Debugger, in denen die Anpassungsfähigkeit von Debugger zum Debuggen von Trainingsaufträge für verschiedene Modelle, Datensätze und Frameworks für Machine Learning vorgestellt wird.

Notebook-Titel Framework Modell Datensatz Description

Amazon SageMaker Debugger — Verwenden Sie die integrierte Regel

TensorFlow

Konvolutionelles neuronales Netzwerk

MINST

Verwenden Sie die in Amazon SageMaker Debugger integrierten Regeln zum Debuggen eines Modells. TensorFlow

Amazon SageMaker Debugger — Tensorflow 2.1

TensorFlow

ResNet50

Cifar-10

Verwenden Sie die Amazon SageMaker Debugger-Hook-Konfiguration und die integrierten Regeln zum Debuggen eines Modells mit dem Tensorflow 2.1-Framework.

Visualisieren von Debugging-Tensoren von MxNet-Trainings

MXNet

Neuronales Faltungsnetzwerk von Gluon

Mode MNIST

Führen Sie einen Trainingsjob aus und konfigurieren Sie den SageMaker Debugger so, dass er alle Tensoren aus diesem Job speichert. Visualisieren Sie diese Tensoren dann in einem Notizbuch.

Aktivieren Sie Spot-Training mit Amazon Debugger SageMaker

MXNet

Neuronales Faltungsnetzwerk von Gluon

Mode MNIST

Erfahren Sie, wie der Debugger Tensordaten aus einem Trainingsauftrag auf einer Spot-Instance sammelt und wie Sie die integrierten Debuger-Regeln mit verwaltetem Spot-Training verwenden.

Erläutern Sie ein XGBoost-Modell, das das Einkommen einer Person mit Amazon Debugger vorhersagt SageMaker XGBoost

XGBoost-Regression

Erwachsenen-Volkszählung Datensatz

Erfahren Sie, wie Sie den Debugger-Hook und die integrierten Regeln zum Sammeln und Visualisieren von Tensordaten aus einem XGBoost-Regressionsmodell verwenden, z. B. Verlustwerte, Merkmale und SHAP-Werte.

Erweiterte Visualisierungen von Modellparametern und Anwendungsfällen finden Sie im nächsten Thema unter Debugger: erweiterte Demos und Visualisierung.