Visualizza i tensori di output di Amazon SageMaker Debugger in TensorBoard

Per salvare file tensoriali di output compatibili utilizzando Debugger TensorBoard

1. Imposta un oggetto di tensorboard_output_config configurazione per salvare l' TensorBoard output utilizzando la classe Debugger. TensorBoardOutputConfig Per il s3_output_path parametro, specifica il bucket S3 predefinito della sessione SageMaker AI corrente o un bucket S3 preferito. Questo esempio non aggiunge il parametro container_local_output_path; viene invece impostato sul percorso locale predefinito /opt/ml/output/tensors.

   from sagemaker.core.debugger import TensorBoardOutputConfig
   from sagemaker.core.helper.session_helper import Session
   
   bucket = Session().default_bucket()
   tensorboard_output_config = TensorBoardOutputConfig(
       s3_output_path='s3://{}'.format(bucket)
   )

   Per ulteriori informazioni, consulta l'TensorBoardOutputConfigAPI Debugger nell'SDK Amazon Python. SageMaker

2. Configura l'hook Debugger e personalizza i valori dei parametri dell'hook. Ad esempio, il codice seguente configura un hook Debugger per salvare tutti gli output scalari ogni 100 fasi nelle fasi di addestramento e 10 fasi nelle fasi di convalida, i parametri weights ogni 500 fasi (il valore save_interval predefinito per il salvataggio delle raccolte di tensori è 500) e i parametri bias ogni 10 fasi globali fino a quando la fase globale raggiunge 500.

   from sagemaker.debugger import CollectionConfig, DebuggerHookConfig
   
   hook_config = DebuggerHookConfig(
       hook_parameters={
           "train.save_interval": "100",
           "eval.save_interval": "10"
       },
       collection_configs=[
           CollectionConfig("weights"),
           CollectionConfig(
               name="biases",
               parameters={
                   "save_interval": "10",
                   "end_step": "500",
                   "save_histogram": "True"
               }
           ),
       ]
   )

   Per ulteriori informazioni sulle API di configurazione Debugger, consulta Debugger e API nell'SDK Amazon PythonCollectionConfig. DebuggerHookConfig SageMaker

3. Costruisci un' SageMaker intelligenza artificiale ModelTrainer con i parametri del Debugger che passano gli oggetti di configurazione. Il seguente modello di esempio mostra come creare un'IA generica. SageMaker ModelTrainer I ModelTrainer framework disponibili per questa funzionalità sono TensorFlowPyTorch, e. MXNet

   from sagemaker.train import ModelTrainer
   
   model_trainer = ModelTrainer(
       ...
       # Debugger parameters
       debugger_hook_config=hook_config,
       tensorboard_output_config=tensorboard_output_config
   )
   model_trainer.train()

   Il model_trainer.train() metodo avvia un processo di addestramento e Debugger scrive i file tensoriali di output in tempo reale nel percorso di output del Debugger S3 e nel percorso di output S3. TensorBoard Per recuperare i percorsi di output, utilizzate i seguenti metodi: ModelTrainer

   • Per il percorso di output di Debugger S3, usa model_trainer.latest_job_debugger_artifacts_path().

   • Per il percorso di uscita TensorBoard S3, usa. model_trainer.latest_job_tensorboard_artifacts_path()

4. Al termine dell'addestramento, controlla i nomi dei tensori di output salvati:

   from smdebug.trials import create_trial
   trial = create_trial(model_trainer.latest_job_debugger_artifacts_path())
   trial.tensor_names()

5. Controlla i dati TensorBoard di output in Amazon S3:

   tensorboard_output_path=model_trainer.latest_job_tensorboard_artifacts_path()
   print(tensorboard_output_path)
   !aws s3 ls {tensorboard_output_path}/

6. Scarica i dati TensorBoard di output sull'istanza del tuo notebook. Ad esempio, il AWS CLI comando seguente scarica i TensorBoard file nella directory di lavoro corrente dell'istanza del notebook. /logs/fit

   !aws s3 cp --recursive {tensorboard_output_path} ./logs/fit

7. Comprimi la directory dei file in un file TAR da scaricare sul computer locale.

   !tar -cf logs.tar logs

8. Scarica ed estrai il file Tensorboard TAR in una directory sul tuo dispositivo, avvia un notebook server Jupyter, apri un nuovo notebook ed esegui l'app. TensorBoard

   !tar -xf logs.tar
   %load_ext tensorboard
   %tensorboard --logdir logs/fit