で Amazon SageMaker Debugger 出力テンソルを視覚化する TensorBoard

デバッガーを使用して TensorBoard 互換性のある出力テンソルファイルを保存するには

1. デバッガーTensorBoardOutputConfigクラスを使用して TensorBoard 出力を保存するtensorboard_output_config設定オブジェクトを設定します。s3_output_path パラメータには、現在の SageMaker セッションのデフォルトの S3 バケットまたは優先 S3 バケットを指定します。この例では、container_local_output_path パラメータを追加せずに、デフォルトのローカルパス /opt/ml/output/tensors に設定します。

   import sagemaker
   from sagemaker.debugger import TensorBoardOutputConfig
   
   bucket = sagemaker.Session().default_bucket()
   tensorboard_output_config = TensorBoardOutputConfig(
       s3_output_path='s3://{}'.format(bucket)
   )

   詳細については、TensorBoardOutputConfigAPIAmazon SageMaker Python SDKの デバッガーを参照してください。

2. デバッガーフックを設定し、フックパラメータ値をカスタマイズします。例えば、次のコードは、すべてのスカラー出力をトレーニングフェーズでは 100 ステップごと、検証フェーズで 10 ステップごとに保存し、weights パラメータを 500 ステップごと (テンソルコレクションを保存するためのデフォルトの save_interval 値は 500)、bias パラメータをグローバルステップが 500 に達するまで 10 グローバルステップごとに保存するようデバッガーフックを設定します。

   from sagemaker.debugger import CollectionConfig, DebuggerHookConfig
   
   hook_config = DebuggerHookConfig(
       hook_parameters={
           "train.save_interval": "100",
           "eval.save_interval": "10"
       },
       collection_configs=[
           CollectionConfig("weights"),
           CollectionConfig(
               name="biases",
               parameters={
                   "save_interval": "10",
                   "end_step": "500",
                   "save_histogram": "True"
               }
           ),
       ]
   )

   デバッガー設定 の詳細についてはAPIs、DebuggerHookConfigAPIsAmazon SageMaker Python SDKの デバッガー CollectionConfig と を参照してください。

3. 設定オブジェクトを渡すデバッガーパラメータを使用して SageMaker 推定器を作成します。次のサンプルテンプレートは、汎用 SageMaker推定器を作成する方法を示しています。estimator と を他の SageMaker フレームワークの推定子親クラスと推定子クラスEstimatorに置き換えることができます。この機能で使用できる SageMaker フレームワーク推定器はTensorFlow、、PyTorch、および ですMXNet。

   from sagemaker.estimator import Estimator
   
   estimator = Estimator(
       ...
       # Debugger parameters
       debugger_hook_config=hook_config,
       tensorboard_output_config=tensorboard_output_config
   )
   estimator.fit()

   estimator.fit() メソッドはトレーニングジョブを開始し、デバッガーは出力テンソルファイルをデバッガー S3 出力パスと TensorBoard S3 出力パスにリアルタイムで書き込みます。出力パスを取得するには、次の推定器メソッドを使用します。

   • デバッガー S3 出力パスには、estimator.latest_job_debugger_artifacts_path() を使用します。

   • TensorBoard S3 出力パスには、 を使用しますestimator.latest_job_tensorboard_artifacts_path()。

4. トレーニングが完了したら、保存された出力テンソルの名前をチェックします。

   from smdebug.trials import create_trial
   trial = create_trial(estimator.latest_job_debugger_artifacts_path())
   trial.tensor_names()

5. Amazon S3 の TensorBoard 出力データを確認します。

   tensorboard_output_path=estimator.latest_job_tensorboard_artifacts_path()
   print(tensorboard_output_path)
   !aws s3 ls {tensorboard_output_path}/

6. TensorBoard 出力データをノートブックインスタンスにダウンロードします。例えば、次の AWS CLI コマンドは、ノートブックインスタンスの現在の作業ディレクトリの /logs/fit に TensorBoard ファイルをダウンロードします。

   !aws s3 cp --recursive {tensorboard_output_path} ./logs/fit

7. ファイルディレクトリをTARファイルに圧縮して、ローカルマシンにダウンロードします。

   !tar -cf logs.tar logs

8. Tensorboard TAR ファイルをダウンロードしてデバイスのディレクトリに抽出し、Jupyter ノートブックサーバーを起動し、新しいノートブックを開き、アプリケーションを実行します TensorBoard。

   !tar -xf logs.tar
   %load_ext tensorboard
   %tensorboard --logdir logs/fit