Visualisez les tenseurs SageMaker de sortie d'Amazon Debugger dans TensorBoard

Pour enregistrer des fichiers tenseurs de sortie TensorBoard compatibles à l'aide du débogueur

1. Configurez un objet tensorboard_output_config de configuration pour enregistrer la TensorBoard sortie à l'aide de la classe DebuggerTensorBoardOutputConfig. Pour le s3_output_path paramètre, spécifiez le compartiment S3 par défaut de la SageMaker session en cours ou un compartiment S3 préféré. Cet exemple n'ajoute pas le paramètre container_local_output_path ; à la place, il est défini sur le chemin local par défaut /opt/ml/output/tensors.

   import sagemaker
   from sagemaker.debugger import TensorBoardOutputConfig
   
   bucket = sagemaker.Session().default_bucket()
   tensorboard_output_config = TensorBoardOutputConfig(
       s3_output_path='s3://{}'.format(bucket)
   )

   Pour plus d'informations, consultez le Debugger TensorBoardOutputConfig API dans Amazon Python SageMaker . SDK

2. Configurez le hook Debugger et personnalisez les valeurs des paramètres du hook. Par exemple, le code suivant configure un hook Debugger pour enregistrer toutes les sorties scalaires toutes les 100 étapes dans les phases d'entraînement et toutes les 10 étapes dans les phases de validation, les paramètres weights toutes les 500 étapes (la valeur par défaut save_interval pour enregistrer les collections de tenseurs est 500), et les paramètres bias toutes les 10 étapes globales jusqu'à ce que l'étape globale atteigne 500.

   from sagemaker.debugger import CollectionConfig, DebuggerHookConfig
   
   hook_config = DebuggerHookConfig(
       hook_parameters={
           "train.save_interval": "100",
           "eval.save_interval": "10"
       },
       collection_configs=[
           CollectionConfig("weights"),
           CollectionConfig(
               name="biases",
               parameters={
                   "save_interval": "10",
                   "end_step": "500",
                   "save_histogram": "True"
               }
           ),
       ]
   )

   Pour plus d'informations sur la configuration du DebuggerAPIs, consultez le Debugger et DebuggerHookConfig APIs Amazon CollectionConfig Python. SageMaker SDK

3. Construisez un SageMaker estimateur avec les paramètres du Debugger transmis aux objets de configuration. L'exemple de modèle suivant montre comment créer un SageMaker estimateur générique. Vous pouvez remplacer estimator et par les classes Estimator parentes d'estimateurs et SageMaker les classes d'estimateurs d'autres frameworks. Les estimateurs de SageMaker framework disponibles pour cette fonctionnalité sont TensorFlowPyTorch, et. MXNet

   from sagemaker.estimator import Estimator
   
   estimator = Estimator(
       ...
       # Debugger parameters
       debugger_hook_config=hook_config,
       tensorboard_output_config=tensorboard_output_config
   )
   estimator.fit()

   La estimator.fit() méthode lance une tâche d'entraînement et Debugger écrit les fichiers tenseurs de sortie en temps réel sur le chemin de sortie du Debugger S3 et sur le chemin de sortie S3. TensorBoard Pour récupérer les chemins de sortie, utilisez les méthodes d'estimateur suivantes :

   • Pour le chemin de sortie Debugger S3, utilisez estimator.latest_job_debugger_artifacts_path().

   • Pour le chemin de sortie TensorBoard S3, utilisezestimator.latest_job_tensorboard_artifacts_path().

4. Une fois l'entraînement terminé, vérifiez les noms des tenseurs de sortie enregistrés :

   from smdebug.trials import create_trial
   trial = create_trial(estimator.latest_job_debugger_artifacts_path())
   trial.tensor_names()

5. Vérifiez les données TensorBoard de sortie dans Amazon S3 :

   tensorboard_output_path=estimator.latest_job_tensorboard_artifacts_path()
   print(tensorboard_output_path)
   !aws s3 ls {tensorboard_output_path}/

6. Téléchargez les données TensorBoard de sortie sur votre instance de bloc-notes. Par exemple, la AWS CLI commande suivante télécharge les TensorBoard fichiers /logs/fit dans le répertoire de travail actuel de votre instance de bloc-notes.

   !aws s3 cp --recursive {tensorboard_output_path} ./logs/fit

7. Compressez le répertoire de fichiers dans un TAR fichier à télécharger sur votre machine locale.

   !tar -cf logs.tar logs

8. Téléchargez et extrayez le TAR fichier Tensorboard dans un répertoire de votre appareil, lancez un serveur de bloc-notes Jupyter, ouvrez un nouveau bloc-notes et exécutez l'application. TensorBoard

   !tar -xf logs.tar
   %load_ext tensorboard
   %tensorboard --logdir logs/fit