プロファイルトレーニングジョブモデルパラメータを分析するためのデバッガーノートブックの例

デバッガーのサンプルノートブック

SageMaker デバッガーのサンプルノートブックは、aws/amazon-sagemaker-examples リポジトリで提供されています。デバッガーサンプルノートブックは、トレーニングジョブのデバッグとプロファイリングの基本的なユースケースから高度なユースケースまでを具体的に説明します。

Studio SageMaker または SageMaker Notebook インスタンスでサンプルノートブックを実行することをお勧めします。ほとんどのサンプルは、Amazon 、Amazon S3EC2、Amazon SageMaker Python などの SageMaker エコシステム内のトレーニングジョブ用に設計されていますSDK。 Amazon S3

サンプルリポジトリを SageMaker Studio にクローンするには、「Amazon SageMaker Studio ツアー」の手順に従います。

SageMaker ノートブックインスタンスの例を確認するには、SageMaker 「ノートブックインスタンスの例ノートブック」の指示に従います。

重要

新しいデバッガー機能を使用するには、 SageMaker Python SDKとSMDebugクライアントライブラリをアップグレードする必要があります。 iPython カーネル、Jupyter Notebook、または JupyterLab 環境で、次のコードを実行して最新バージョンのライブラリをインストールし、カーネルを再起動します。


import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

トレーニングジョブをプロファイリングするためのデバッガーのサンプルノートブック

次のリストは、さまざまな機械学習モデル、データセット、フレームワークのトレーニングジョブをモニタリングおよびプロファイリングするためのデバッガーの適応性を紹介するデバッガーサンプルノートブックを示しています。

ノートブックのタイトル	フレームワーク	モデル	データセット	説明
Amazon SageMaker デバッガープロファイリングデータ分析	TensorFlow	Keras ResNet50	Cifar-10	このノートブックでは、 SageMaker デバッガーによってキャプチャされたプロファイル付きデータのインタラクティブ分析の概要を説明します。`SMDebug` インタラクティブ分析ツールの全機能をよく見てください。
Amazon SageMaker Debugger による機械学習トレーニングのプロファイリング	TensorFlow	1 次元の畳み込みニューラルネットワーク	IMDB データセット	ポジティブセンチメントまたはネガティブセンチメントを持つとラベル付けされた映画レビューで構成されるIMDBデータのセンチメント分析CNN用に TensorFlow 1-D をプロファイルします。Studio デバッガーのインサイトとデバッガープロファイリングレポートをよく見てください。
さまざまな分散トレーニング設定を使用した TensorFlow ResNet モデルトレーニングのプロファイリング	TensorFlow	ResNet50	Cifar-10	デバッガーを使用して、さまざまな分散 TensorFlow トレーニング設定でトレーニングジョブを実行し、システムリソースの使用率をモニタリングし、モデルのパフォーマンスをプロファイルします。
さまざまな分散トレーニング設定を使用した PyTorch ResNet モデルトレーニングのプロファイリング	PyTorch	ResNet50	Cifar-10	デバッガーを使用して、さまざまな分散 PyTorch トレーニング設定でトレーニングジョブを実行し、システムリソースの使用率をモニタリングし、モデルのパフォーマンスをプロファイルします。

モデルパラメータを分析するためのデバッガーノートブックの例

次のリストは、さまざまな機械学習モデル、データセット、フレームワークのトレーニングジョブをデバッグするためのデバッガーの適応性を紹介するデバッガーサンプルノートブックを示しています。

ノートブックのタイトル	フレームワーク	モデル	データセット	説明
Amazon SageMaker デバッガー - 組み込みルールを使用する	TensorFlow	畳み込みニューラルネットワーク	MNIST	モデルのデバッグには、Amazon SageMaker Debugger 組み込みルールを使用します TensorFlow。
Amazon SageMaker デバッガー - Tensorflow 2.1	TensorFlow	ResNet50	Cifar-10	Tensorflow 2.1 フレームワークでモデルをデバッグするには、Amazon SageMaker Debugger フック設定と組み込みルールを使用します。
MXNetトレーニングのテンソルのデバッグを視覚化する	MXNet	Gluon 畳み込みニューラルネットワーク	ファッション MNIST	トレーニングジョブを実行して、このジョブのすべてのテンソルを保存するように SageMaker デバッガーを設定し、ノートブック内のテンソルを視覚化します。
Amazon SageMaker Debugger でスポットトレーニングを有効にする	MXNet	Gluon 畳み込みニューラルネットワーク	ファッション MNIST	デバッガーがスポットインスタンスのトレーニングジョブからテンソルデータを収集する方法と、マネージドスポットトレーニングでデバッガーの組み込みルールを使う方法について説明します。
Amazon SageMaker Debugger で個人の収入を予測するXGBoostモデルを説明する	XGBoost	XGBoost 回帰	成人国勢調査データセット	デバッガーフックと組み込みルールを使用して、損失値、特徴、SHAP値などのXGBoost回帰モデルからテンソルデータを収集および視覚化する方法について説明します。

モデルパラメータとユースケースの高度な視覚化については、次のトピックの「デバッガーの高度なデモと視覚化」を参照してください。

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

チュートリアルビデオ

高度なデモと視覚化