在 中視覺化 Amazon SageMaker Debugger 輸出張量 TensorBoard - Amazon SageMaker AI

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

在 中視覺化 Amazon SageMaker Debugger 輸出張量 TensorBoard

重要

此頁面已棄用,有利於使用 Amazon SageMaker AI TensoBoard,這可提供與 SageMaker 訓練和 SageMaker AI 網域存取控制功能整合的全面 TensorBoard 體驗。如需進一步了解,請參閱 TensorBoard 在 Amazon SageMaker AI 中

使用 SageMaker Debugger 建立與 相容的輸出張量檔案 TensorBoard。載入要視覺化的檔案 TensorBoard ,並分析您的 SageMaker 訓練任務。Debugger 會自動產生與 相容的輸出張量檔案 TensorBoard。對於您為儲存輸出張量而自訂的任何勾點組態,Debugger 可以靈活地建立可匯入的純量摘要、分佈和長條圖 TensorBoard。

偵錯工具輸出張量儲存機制的架構圖。

您可以透過傳遞 DebuggerHookConfigTensorBoardOutputConfig 物件給 estimator 來啟用。

下列程序說明如何將純量、權重和偏差儲存為可視覺化的完整張量、長條圖和分佈 TensorBoard。Debugger 會將它們儲存到訓練容器的本機路徑 (預設路徑為 /opt/ml/output/tensors),並同步至透過偵錯程式輸出組態物件傳遞的 Amazon S3 位置。

使用 Debugger 儲存 TensorBoard 相容的輸出張量檔案
  1. 設定tensorboard_output_config組態物件以使用偵錯工具TensorBoardOutputConfig類別儲存 TensorBoard 輸出。針對 s3_output_path 參數,指定目前 SageMaker AI 工作階段的預設 S3 儲存貯體或偏好的 S3 儲存貯體。此範例不會新增 container_local_output_path 參數,而是將其設定為預設本機路徑 /opt/ml/output/tensors

    import sagemaker from sagemaker.debugger import TensorBoardOutputConfig bucket = sagemaker.Session().default_bucket() tensorboard_output_config = TensorBoardOutputConfig( s3_output_path='s3://{}'.format(bucket) )

    如需詳細資訊,請參閱 Amazon SageMaker Python SDKTensorBoardOutputConfigAPI中的偵錯工具。

  2. 設定偵錯工具勾點,並自訂勾點參數值。例如,下列程式碼會設定偵錯工具勾點,以在訓練階段每 100 個步驟和驗證階段每 10 個步驟儲存所有純量輸出、每 500 個步驟 weights 參數 (儲存張量集合的預設 save_interval 值為 500),以及每 10 個全域步驟 bias 參數,直到全域步驟達到 500 個。

    from sagemaker.debugger import CollectionConfig, DebuggerHookConfig hook_config = DebuggerHookConfig( hook_parameters={ "train.save_interval": "100", "eval.save_interval": "10" }, collection_configs=[ CollectionConfig("weights"), CollectionConfig( name="biases", parameters={ "save_interval": "10", "end_step": "500", "save_histogram": "True" } ), ] )

    如需偵錯工具組態 的詳細資訊APIs,請參閱 Amazon Python DebuggerHookConfigAPIs中的偵錯工具 CollectionConfig和 。 SageMaker SDK

  3. 使用傳遞組態物件的 Debugger 參數來建構 SageMaker AI 估算器。下列範例範本說明如何建立一般 SageMaker AI 估算器。您可以使用Estimator其他 SageMaker AI 架構的估算器父類別estimator和估算器類別取代 和 。此功能的可用 SageMaker AI 架構估算器為 TensorFlowPyTorchMXNet

    from sagemaker.estimator import Estimator estimator = Estimator( ... # Debugger parameters debugger_hook_config=hook_config, tensorboard_output_config=tensorboard_output_config ) estimator.fit()

    estimator.fit() 方法會啟動訓練任務,而 Debugger 會即時將輸出張量檔案寫入偵錯器 S3 輸出路徑和 TensorBoard S3 輸出路徑。若要擷取輸出路徑,請使用下列估算方法:

    • 對於偵錯工具 S3 輸出路徑,請使用 estimator.latest_job_debugger_artifacts_path()

    • 對於 TensorBoard S3 輸出路徑,請使用 estimator.latest_job_tensorboard_artifacts_path()

  4. 訓練完成後,請檢查儲存的輸出張量名稱:

    from smdebug.trials import create_trial trial = create_trial(estimator.latest_job_debugger_artifacts_path()) trial.tensor_names()
  5. 檢查 Amazon S3 中的 TensorBoard 輸出資料:

    tensorboard_output_path=estimator.latest_job_tensorboard_artifacts_path() print(tensorboard_output_path) !aws s3 ls {tensorboard_output_path}/
  6. 將 TensorBoard 輸出資料下載到您的筆記本執行個體。例如,下列 AWS CLI 命令會將 TensorBoard 檔案下載到筆記本執行個體目前工作目錄/logs/fit下的 。

    !aws s3 cp --recursive {tensorboard_output_path} ./logs/fit
  7. 將檔案目錄壓縮為TAR檔案,以下載至本機電腦。

    !tar -cf logs.tar logs
  8. 將 Tensorboard TAR 檔案下載並解壓縮至您裝置上的目錄、啟動 Jupyter 筆記本伺服器、開啟新的筆記本,以及執行 TensorBoard應用程式。

    !tar -xf logs.tar %load_ext tensorboard %tensorboard --logdir logs/fit

下列動畫螢幕擷取畫面示範步驟 5 到 8。它示範如何下載偵錯工具 TensorBoard TAR檔案,並在本機裝置上的 Jupyter 筆記本中載入檔案。

如何在本機電腦上下載和載入偵錯工具 TensorBoard檔案的動畫。