TensorBoard で Amazon SageMaker Debugger 出力テンソルを視覚化する

デバッガーを使って TensorBoard 互換の出力テンソルファイルを保存するには

1. デバッガーの TensorBoardOutputConfig クラスを使って、TensorBoard 出力を保存するように tensorboard_output_config 設定オブジェクトを設定します。s3_output_path パラメータには、現在の SageMaker AI セッションのデフォルトの S3 バケットか、任意の S3 バケットを指定します。この例では、container_local_output_path パラメータを追加せずに、デフォルトのローカルパス /opt/ml/output/tensors に設定します。

   from sagemaker.core.debugger import TensorBoardOutputConfig
   from sagemaker.core.helper.session_helper import Session
   
   bucket = Session().default_bucket()
   tensorboard_output_config = TensorBoardOutputConfig(
       s3_output_path='s3://{}'.format(bucket)
   )

   詳細については、Amazon SageMaker Python SDK のデバッガー TensorBoardOutputConfig API を参照してください。

2. デバッガーフックを設定し、フックパラメータ値をカスタマイズします。例えば、次のコードは、すべてのスカラー出力をトレーニングフェーズでは 100 ステップごと、検証フェーズで 10 ステップごとに保存し、weights パラメータを 500 ステップごと (テンソルコレクションを保存するためのデフォルトの save_interval 値は 500)、bias パラメータをグローバルステップが 500 に達するまで 10 グローバルステップごとに保存するようデバッガーフックを設定します。

   from sagemaker.debugger import CollectionConfig, DebuggerHookConfig
   
   hook_config = DebuggerHookConfig(
       hook_parameters={
           "train.save_interval": "100",
           "eval.save_interval": "10"
       },
       collection_configs=[
           CollectionConfig("weights"),
           CollectionConfig(
               name="biases",
               parameters={
                   "save_interval": "10",
                   "end_step": "500",
                   "save_histogram": "True"
               }
           ),
       ]
   )

   デバッガー設定 API の詳細については、Amazon SageMaker Python SDK のデバッガー CollectionConfig API と DebuggerHookConfig API を参照してください。

3. 設定オブジェクトを渡すデバッガーパラメータを使用して SageMaker AI ModelTrainer を構築します。次のサンプルテンプレートは、汎用 SageMaker AI ModelTrainer を作成する方法を示しています。この機能で使用できる ModelTrainer フレームワークはTensorFlow、、PyTorch、および ですMXNet。

   from sagemaker.train import ModelTrainer
   
   model_trainer = ModelTrainer(
       ...
       # Debugger parameters
       debugger_hook_config=hook_config,
       tensorboard_output_config=tensorboard_output_config
   )
   model_trainer.train()

   model_trainer.train() メソッドはトレーニングジョブを開始し、デバッガーは出力テンソルファイルをデバッガー S3 出力パスと TensorBoard S3 出力パスにリアルタイムで書き込みます。出力パスを取得するには、次の ModelTrainer メソッドを使用します。

   • デバッガー S3 出力パスには、model_trainer.latest_job_debugger_artifacts_path() を使用します。

   • TensorBoard S3 出力パスには、model_trainer.latest_job_tensorboard_artifacts_path() を使用します。

4. トレーニングが完了したら、保存された出力テンソルの名前をチェックします。

   from smdebug.trials import create_trial
   trial = create_trial(model_trainer.latest_job_debugger_artifacts_path())
   trial.tensor_names()

5. Amazon S3 で TensorBoard の出力データをチェックします。

   tensorboard_output_path=model_trainer.latest_job_tensorboard_artifacts_path()
   print(tensorboard_output_path)
   !aws s3 ls {tensorboard_output_path}/

6. TensorBoard の出力データをノートブックインスタンスにダウンロードします。たとえば、次の AWS CLI コマンドは、ノートブックインスタンスの現在の作業ディレクトリの /logs/fit に TensorBoard ファイルをダウンロードします。

   !aws s3 cp --recursive {tensorboard_output_path} ./logs/fit

7. ファイルディレクトリを TAR ファイルに圧縮して、ローカルマシンにダウンロードします。

   !tar -cf logs.tar logs

8. TensorBoard TAR ファイルをダウンロードしてデバイス上のディレクトリに抽出し、Jupyter ノートブックサーバーを起動し、新しいノートブックを開いて、TensorBoard アプリケーションを実行します。

   !tar -xf logs.tar
   %load_ext tensorboard
   %tensorboard --logdir logs/fit