Visualisieren Sie Amazon SageMaker Debugger-Ausgabetensoren in TensorBoard

Um kompatible Ausgabetensordateien mit dem Debugger zu speichern TensorBoard

1. Richten Sie ein tensorboard_output_config Konfigurationsobjekt ein, um die TensorBoard Ausgabe mithilfe der TensorBoardOutputConfig Debugger-Klasse zu speichern. Geben Sie für den s3_output_path Parameter den Standard-S3-Bucket der aktuellen SageMaker AI-Sitzung oder einen bevorzugten S3-Bucket an. In diesem Beispiel wird der container_local_output_path Parameter nicht hinzugefügt, sondern auf den lokalen Standardpfad /opt/ml/output/tensors gesetzt.

   import sagemaker
   from sagemaker.debugger import TensorBoardOutputConfig
   
   bucket = sagemaker.Session().default_bucket()
   tensorboard_output_config = TensorBoardOutputConfig(
       s3_output_path='s3://{}'.format(bucket)
   )

   Weitere Informationen finden Sie im Debugger TensorBoardOutputConfig API in Amazon SageMaker Python SDK.

2. Konfigurieren Sie den Debugger-Hook und passen Sie die Hook-Parameterwerte an. Der folgende Code konfiguriert beispielsweise einen Debugger-Hook so, dass alle skalaren Ausgaben in Trainingsphasen alle 100 Schritte und in Validierungsphasen alle 10 Schritte, die weights Parameter alle 500 Schritte (der save_interval Standardwert für das Speichern von Tensorsammlungen ist 500) und die bias Parameter alle 10 globalen Schritte gespeichert werden, bis der globale Schritt 500 erreicht.

   from sagemaker.debugger import CollectionConfig, DebuggerHookConfig
   
   hook_config = DebuggerHookConfig(
       hook_parameters={
           "train.save_interval": "100",
           "eval.save_interval": "10"
       },
       collection_configs=[
           CollectionConfig("weights"),
           CollectionConfig(
               name="biases",
               parameters={
                   "save_interval": "10",
                   "end_step": "500",
                   "save_histogram": "True"
               }
           ),
       ]
   )

   Weitere Informationen zur Debugger-Konfiguration APIs finden Sie im Debugger CollectionConfig und DebuggerHookConfig APIs in Amazon SageMaker Python. SDK

3. Konstruieren Sie einen SageMaker AI-Schätzer mit den Debugger-Parametern, die die Konfigurationsobjekte übergeben. Die folgende Beispielvorlage zeigt, wie ein generischer SageMaker KI-Schätzer erstellt wird. Sie können estimator und Estimator durch die übergeordneten Schätzklassen und Schätzerklassen anderer SageMaker KI-Frameworks ersetzen. Verfügbare SageMaker KI-Framework-Schätzer für diese Funktionalität sind, und. TensorFlow PyTorch MXNet

   from sagemaker.estimator import Estimator
   
   estimator = Estimator(
       ...
       # Debugger parameters
       debugger_hook_config=hook_config,
       tensorboard_output_config=tensorboard_output_config
   )
   estimator.fit()

   Die estimator.fit() Methode startet einen Trainingsjob und der Debugger schreibt die Ausgabetensordateien in Echtzeit in den Debugger S3-Ausgabepfad und in den TensorBoard S3-Ausgabepfad. Verwenden Sie die folgenden Schätzmethoden, um die Ausgabepfade abzurufen:

   • Für den Debugger S3-Ausgabepfad, verwenden Sie estimator.latest_job_debugger_artifacts_path().

   • Verwenden Sie für den TensorBoard S3-Ausgabepfad. estimator.latest_job_tensorboard_artifacts_path()

4. Überprüfen Sie nach Abschluss des Trainings die Namen der gespeicherten Ausgabetensoren:

   from smdebug.trials import create_trial
   trial = create_trial(estimator.latest_job_debugger_artifacts_path())
   trial.tensor_names()

5. Überprüfen Sie die TensorBoard Ausgabedaten in Amazon S3:

   tensorboard_output_path=estimator.latest_job_tensorboard_artifacts_path()
   print(tensorboard_output_path)
   !aws s3 ls {tensorboard_output_path}/

6. Laden Sie die TensorBoard Ausgabedaten auf Ihre Notebook-Instance herunter. Mit dem folgenden AWS CLI Befehl werden die TensorBoard Dateien beispielsweise in das /logs/fit aktuelle Arbeitsverzeichnis Ihrer Notebook-Instanz heruntergeladen.

   !aws s3 cp --recursive {tensorboard_output_path} ./logs/fit

7. Komprimieren Sie das Dateiverzeichnis in eine TAR Datei, um sie auf Ihren lokalen Computer herunterzuladen.

   !tar -cf logs.tar logs

8. Laden Sie die TAR Tensorboard-Datei herunter und extrahieren Sie sie in ein Verzeichnis auf Ihrem Gerät, starten Sie einen Jupyter-Notebook-Server, öffnen Sie ein neues Notebook und führen Sie die App aus. TensorBoard

   !tar -xf logs.tar
   %load_ext tensorboard
   %tensorboard --logdir logs/fit