Visualisieren Sie Amazon SageMaker Debugger-Ausgabetensoren in TensorBoard

Um kompatible Ausgabe-Tensordateien mit dem Debugger zu speichern TensorBoard

1. Richten Sie ein tensorboard_output_config Konfigurationsobjekt ein, um die TensorBoard Ausgabe mithilfe der TensorBoardOutputConfig Debugger-Klasse zu speichern. Geben Sie für den s3_output_path Parameter den Standard-S3-Bucket der aktuellen SageMaker AI-Sitzung oder einen bevorzugten S3-Bucket an. In diesem Beispiel wird der container_local_output_path Parameter nicht hinzugefügt, sondern auf den lokalen Standardpfad /opt/ml/output/tensors gesetzt.

   from sagemaker.core.debugger import TensorBoardOutputConfig
   from sagemaker.core.helper.session_helper import Session
   
   bucket = Session().default_bucket()
   tensorboard_output_config = TensorBoardOutputConfig(
       s3_output_path='s3://{}'.format(bucket)
   )

   Weitere Informationen finden Sie in der TensorBoardOutputConfig Debugger-API im Amazon SageMaker Python SDK.

2. Konfigurieren Sie den Debugger-Hook und passen Sie die Hook-Parameterwerte an. Der folgende Code konfiguriert beispielsweise einen Debugger-Hook so, dass alle skalaren Ausgaben in Trainingsphasen alle 100 Schritte und in Validierungsphasen alle 10 Schritte, die weights Parameter alle 500 Schritte (der save_interval Standardwert für das Speichern von Tensorsammlungen ist 500) und die bias Parameter alle 10 globalen Schritte gespeichert werden, bis der globale Schritt 500 erreicht.

   from sagemaker.debugger import CollectionConfig, DebuggerHookConfig
   
   hook_config = DebuggerHookConfig(
       hook_parameters={
           "train.save_interval": "100",
           "eval.save_interval": "10"
       },
       collection_configs=[
           CollectionConfig("weights"),
           CollectionConfig(
               name="biases",
               parameters={
                   "save_interval": "10",
                   "end_step": "500",
                   "save_histogram": "True"
               }
           ),
       ]
   )

   Weitere Informationen zu den Debugger-Konfigurations-APIs finden Sie unter Debugger CollectionConfig und DebuggerHookConfig APIs im Amazon SageMaker Python SDK.

3. Konstruieren Sie eine SageMaker KI ModelTrainer mit den Debugger-Parametern, die die Konfigurationsobjekte übergeben. Die folgende Beispielvorlage zeigt, wie eine generische SageMaker KI ModelTrainer erstellt wird. Verfügbare ModelTrainer Frameworks für diese Funktionalität sind TensorFlowPyTorch, undMXNet.

   from sagemaker.train import ModelTrainer
   
   model_trainer = ModelTrainer(
       ...
       # Debugger parameters
       debugger_hook_config=hook_config,
       tensorboard_output_config=tensorboard_output_config
   )
   model_trainer.train()

   Die model_trainer.train() Methode startet einen Trainingsjob und der Debugger schreibt die Ausgabe-Tensordateien in Echtzeit in den Debugger S3-Ausgabepfad und in den TensorBoard S3-Ausgabepfad. Verwenden Sie die folgenden Methoden, um die Ausgabepfade abzurufen: ModelTrainer

   • Für den Debugger S3-Ausgabepfad, verwenden Sie model_trainer.latest_job_debugger_artifacts_path().

   • Verwenden Sie für den TensorBoard S3-Ausgabepfadmodel_trainer.latest_job_tensorboard_artifacts_path().

4. Überprüfen Sie nach Abschluss des Trainings die Namen der gespeicherten Ausgabetensoren:

   from smdebug.trials import create_trial
   trial = create_trial(model_trainer.latest_job_debugger_artifacts_path())
   trial.tensor_names()

5. Überprüfen Sie die TensorBoard Ausgabedaten in Amazon S3:

   tensorboard_output_path=model_trainer.latest_job_tensorboard_artifacts_path()
   print(tensorboard_output_path)
   !aws s3 ls {tensorboard_output_path}/

6. Laden Sie die TensorBoard Ausgabedaten auf Ihre Notebook-Instance herunter. Mit dem folgenden AWS CLI Befehl werden die TensorBoard Dateien beispielsweise in das /logs/fit aktuelle Arbeitsverzeichnis Ihrer Notebook-Instance heruntergeladen.

   !aws s3 cp --recursive {tensorboard_output_path} ./logs/fit

7. Komprimieren Sie das Dateiverzeichnis in eine TAR-Datei, um es auf Ihren lokalen Computer herunterzuladen.

   !tar -cf logs.tar logs

8. Laden Sie die Tensorboard-TAR-Datei herunter und extrahieren Sie sie in ein Verzeichnis auf Ihrem Gerät, starten Sie einen Jupyter-Notebook-Server, öffnen Sie ein neues Notebook und führen Sie die App aus. TensorBoard

   !tar -xf logs.tar
   %load_ext tensorboard
   %tensorboard --logdir logs/fit