Utilizzalo TensorBoard per eseguire il debug e analizzare i lavori di formazione in Amazon SageMaker

Amazon SageMaker with TensorBoard è una funzionalità di Amazon SageMaker che offre gli strumenti di visualizzazione di TensorBoardto SageMaker, integrati con SageMaker Training e domain. Fornisce opzioni per amministrare il tuo AWS account e gli utenti che appartengono all'account tramite il SageMaker dominio, per consentire agli utenti del dominio di accedere ai TensorBoard dati con le autorizzazioni appropriate per Amazon S3 e aiutare gli utenti del dominio a eseguire attività di debug dei modelli utilizzando i plug-in di visualizzazione. TensorBoard SageMaker with TensorBoard è esteso con il plug-in SageMaker Data Manager, con il quale gli utenti del dominio possono accedere a una serie di lavori di formazione in un'unica posizione all'interno dell'applicazione. TensorBoard

Per i data scientist

L'addestramento di modelli di grandi dimensioni può comportare problemi scientifici che richiedono ai data scientist di eseguire il debug e risolverli per migliorare la convergenza dei modelli e stabilizzare i processi di discesa del gradiente.

Quando si verificano problemi di addestramento dei modelli, come la perdita, la mancata convergenza, la scomparsa o l'esplosione di pesi e sfumature, è necessario accedere ai dati tensoriali per approfondire e analizzare i parametri del modello, gli scalari e qualsiasi parametro personalizzato. Utilizzando SageMaker with TensorBoard, è possibile visualizzare i tensori di output del modello estratti dai lavori di formazione. Mentre sperimentate diversi modelli, più cicli di allenamento e modellate iperparametri, potete selezionare più lavori di formazione TensorBoard e confrontarli in un unico posto.

Per gli amministratori

Tramite la pagina di TensorBoard destinazione nella SageMaker console o nel SageMaker dominio, puoi gestire gli utenti TensorBoard dell'applicazione se sei l'amministratore di un AWS account o di un SageMaker dominio. Ogni utente del dominio può accedere alla propria TensorBoard applicazione in base alle autorizzazioni concesse. In qualità di amministratore di SageMaker dominio e utente del dominio, puoi creare ed eliminare l' TensorBoard applicazione in base al livello di autorizzazione di cui disponi.

Framework supportati e Regioni AWS

Questa funzionalità supporta i seguenti framework di machine learning e Regioni AWS.

Prerequisiti

L'elenco seguente mostra i prerequisiti SageMaker con TensorBoard cui iniziare a utilizzare.

Preparare un lavoro di formazione con una configurazione dei dati TensorBoard di output

Un tipico lavoro di formazione per il deep learning SageMaker consiste in due fasi principali: preparazione di uno script di formazione e configurazione di un SageMaker Training job launcher. In questa sezione, puoi verificare le modifiche necessarie per raccogliere dati TensorBoard compatibili da Training. SageMaker

Fase 1: modificare lo script di addestramento

Assicurati di determinare quali tensori e scalari di output raccogliere e di modificare le righe di codice nello script di addestramento utilizzando uno dei seguenti strumenti: TensorBoard X, TensorFlow Summary Writer, Summary Writer o PyTorch Debugger. SageMaker

Assicurati inoltre di specificare il percorso di output dei TensorBoard dati come directory di log (log_dir) per il callback nel contenitore di formazione.

Per ulteriori informazioni sulle richiamate per framework, consulta le risorse seguenti.

Fase 2: Creazione di un programma di avvio del training con configurazione dei dati SageMaker TensorBoard

Utilizzalo sagemaker.debugger.TensorBoardOutputConfig durante la configurazione di uno SageMaker stimatore del framework. Questa configurazione API mappa il bucket S3 specificato per il salvataggio TensorBoard dei dati con il percorso locale nel contenitore di formazione (). /opt/ml/output/tensorboard Trasmetti l'oggetto del modulo al parametro tensorboard_output_config della classe dello strumento di valutazione. Il seguente frammento di codice mostra un esempio di preparazione di uno TensorFlow stimatore con il parametro di configurazione dell'output. TensorBoard

"TensorBoardOutputConfig": { 
  "LocalPath": "/opt/ml/output/tensorboard",
  "S3OutputPath": "s3_output_bucket"
}

from sagemaker.tensorflow import TensorFlow
from sagemaker.debugger import TensorBoardOutputConfig

# Set variables for training job information, 
# such as s3_out_bucket and other unique tags.
... 

LOG_DIR="/opt/ml/output/tensorboard"

output_path = os.path.join(
    "s3_output_bucket", "sagemaker-output", "date_str", "your-training_job_name"
)

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=os.path.join(output_path, 'tensorboard'),
    container_local_output_path=LOG_DIR
)

estimator = TensorFlow(
    entry_point="train.py",
    source_dir="src",
    role=role,
    image_uri=image_uri,
    instance_count=1,
    instance_type="ml.c5.xlarge",
    base_job_name="your-training_job_name",
    tensorboard_output_config=tensorboard_output_config,
    hyperparameters=hyperparameters
)

Come accedere a TensorBoard SageMaker

È possibile accedere TensorBoard con due metodi: a livello di codice utilizzando il sagemaker.interactive_apps.tensorboard modulo che genera un messaggio non firmato o prefirmato URL oppure utilizzando la pagina di TensorBoard destinazione nella console. SageMaker Dopo l'apertura TensorBoard, SageMaker esegue il TensorBoard plug-in e trova automaticamente tutti i dati di output del processo di formazione in TensorBoard un formato di file compatibile con.

Apri TensorBoard usando il modulo sagemaker.interactive_apps.tensorboard

Il sagemaker.interactive_apps.tensorboard modulo fornisce una funzione chiamata get_app_url che genera dati non firmati o predefiniti URLs per aprire l' TensorBoard applicazione in qualsiasi ambiente in SageMaker Amazon. EC2 Questo serve a fornire un'esperienza unificata per gli utenti di Studio Classic e non Studio Classic. Per l'ambiente Studio, è possibile aprire TensorBoard eseguendo la get_app_url() funzione così com'è oppure è possibile specificare un nome di lavoro per avviare il tracciamento all'apertura dell' TensorBoard applicazione. Per gli ambienti non Studio Classic, è possibile aprire TensorBoard fornendo le informazioni sul dominio e sul profilo utente alla funzione di utilità. Con questa funzionalità, indipendentemente da dove o come si esegue il codice di formazione e si avviano i lavori di formazione, è possibile accedervi direttamente TensorBoard eseguendo la get_app_url funzione sul notebook o sul terminale Jupyter.

Opzione 1: per SageMaker Studio Classic

Se si utilizza SageMaker Studio Classic, è possibile aprire direttamente l' TensorBoardapplicazione o recuperarne una versione non firmata URL eseguendo la get_app_url funzione come segue. Poiché siete già all'interno dell'ambiente Studio Classic e avete effettuato l'accesso come utente di dominio, get_app_url() genera dati non firmati URL perché non è necessario eseguire nuovamente l'autenticazione.

Per aprire l'applicazione TensorBoard

Il codice seguente apre automaticamente l' TensorBoard applicazione unsigned URL che la get_app_url() funzione restituisce nel browser Web predefinito dell'ambiente in uso.

from sagemaker.interactive_apps import tensorboard

region = "us-west-2"
app = tensorboard.TensorBoardApp(region)

app.get_app_url(
    training_job_name="your-training_job_name" # Optional. Specify the job name to track a specific training job 
)

Per recuperare un'applicazione non firmata URL e aprirla manualmente TensorBoard

Il codice seguente stampa un file non firmato URL che è possibile copiare in un browser Web e aprire l'applicazione. TensorBoard

from sagemaker.interactive_apps import tensorboard

region = "us-west-2"
app = tensorboard.TensorBoardApp(region)
print("Navigate to the following URL:")
print(
    app.get_app_url(
        training_job_name="your-training_job_name", # Optional. Specify the name of the job to track.
        open_in_default_web_browser=False           # Set to False to print the URL to terminal.
    )
)

Tieni presente che se esegui i due esempi di codice precedenti all'esterno dell'ambiente SageMaker Studio Classic, la funzione restituirà una URL alla pagina di TensorBoard destinazione della SageMaker console, poiché questi non contengono informazioni di accesso al tuo dominio e al tuo profilo utente. Per creare un predefinitoURL, consultate l'opzione 2 nella sezione seguente.

Opzione 2: per ambienti non Studio Classic

Se utilizzi ambienti non Studio Classic, come SageMaker Notebook instance o AmazonEC2, e desideri aprirli TensorBoard direttamente dall'ambiente in cui ti trovi, devi generare un URL prefirmato con le informazioni del tuo dominio e del tuo profilo utente. Un prefirmato URL è un file URL che ha effettuato l'accesso ad Amazon SageMaker Studio Classic durante la URL creazione con il tuo dominio e il tuo profilo utente e che quindi ha ottenuto l'accesso a tutte le applicazioni e i file di dominio associati al tuo dominio. Per aprire TensorBoard tramite un predefinitoURL, usa la get_app_url funzione con il nome del dominio e del profilo utente come segue.

Tieni presente che questa opzione richiede che l'utente del dominio disponga dell'sagemaker:CreatePresignedDomainUrlautorizzazione. Senza l'autorizzazione, l'utente del dominio riceverà un errore di eccezione.

print(
    app.get_app_url(
        training_job_name="your-training_job_name", # Optional. Specify the name of the job to track.
        create_presigned_domain_url=True,           # Reguired to be set to True for creating a presigned URL.
        domain_id="your-domain-id",                 # Required if creating a presigned URL (create_presigned_domain_url=True).
        user_profile_name="your-user-profile-name", # Required if creating a presigned URL (create_presigned_domain_url=True).
        open_in_default_web_browser=False,          # Optional. Set to False to print the URL to terminal.
        optional_create_presigned_url_kwargs={}     # Optional. Add any additional args for Boto3 create_presigned_domain_url
    )
)

optional_create_presigned_url_kwargs={"ExpiresInSeconds": 1500}

Navigate to the following URL:
https://us-west-2.console.aws.amazon.com/sagemaker/home?region=us-west-2#/tensor-board-landing

Apri TensorBoard usando la get_app_url funzione come metodo di classe estimator

Se state eseguendo un processo di formazione utilizzando la estimator classe di SageMaker Python SDK e avete un oggetto attivo della estimator classe, potete anche accedere alla get_app_urlfunzione come metodo di classe della estimator classe. Aprite l' TensorBoard applicazione o recuperate un file unsigned URL eseguendo il get_app_url metodo come segue. Il metodo della get_app_url classe estrae il nome del lavoro di formazione dallo stimatore e apre l' TensorBoard applicazione con il lavoro specificato.

Opzione 1: per SageMaker Studio Classic

Per aprire l' TensorBoard applicazione

Il codice seguente apre automaticamente l' TensorBoard applicazione non firmata URL che il get_app_url() metodo restituisce nel browser Web predefinito dell'ambiente in uso.

estimator.get_app_url(
    app_type=SupportedInteractiveAppTypes.TENSORBOARD # Required.
)

Per recuperare un file non firmato URL e aprirlo manualmente TensorBoard

Il codice seguente stampa un file non firmato URL che è possibile copiare in un browser Web e aprire l'applicazione. TensorBoard

print(
    estimator.get_app_url(
        app_type=SupportedInteractiveAppTypes.TENSORBOARD, # Required.
        open_in_default_web_browser=False, # Optional. Set to False to print the URL to terminal.
    )
) 

Tieni presente che se esegui i due esempi di codice precedenti all'esterno dell'ambiente SageMaker Studio Classic, la funzione restituirà una URL alla pagina di TensorBoard destinazione della SageMaker console, poiché questi non contengono informazioni di accesso al tuo dominio e al tuo profilo utente. Per creare un predefinitoURL, consultate l'opzione 2 nella sezione seguente.

Opzione 2: per ambienti non Studio Classic

Se utilizzi ambienti non Studio Classic, come SageMaker Notebook instance e AmazonEC2, e desideri generare un predefinito per URL aprire l' TensorBoard applicazione, utilizza il get_app_url metodo con le informazioni sul dominio e sul profilo utente come segue.

Tieni presente che questa opzione richiede che l'utente del dominio disponga dell'sagemaker:CreatePresignedDomainUrlautorizzazione. Senza l'autorizzazione, l'utente del dominio riceverà un errore di eccezione.

print(
    estimator.get_app_url(
        app_type=SupportedInteractiveAppTypes.TENSORBOARD, # Required
        create_presigned_domain_url=True,           # Reguired to be set to True for creating a presigned URL.
        domain_id="your-domain-id",                 # Required if creating a presigned URL (create_presigned_domain_url=True).
        user_profile_name="your-user-profile-name", # Required if creating a presigned URL (create_presigned_domain_url=True).
        open_in_default_web_browser=False,            # Optional. Set to False to print the URL to terminal.
        optional_create_presigned_url_kwargs={}       # Optional. Add any additional args for Boto3 create_presigned_domain_url
    )
) 

Apri tramite TensorBoard la console SageMaker

Puoi anche utilizzare l'interfaccia utente della SageMaker console per aprire l' TensorBoard applicazione. Esistono due opzioni per aprire l' TensorBoard applicazione tramite la SageMaker console.

Opzione 1: avvio TensorBoard dalla pagina dei dettagli del dominio

Vai alla pagina dei dettagli del dominio

La procedura seguente mostra come accedere alla pagina dei dettagli del dominio.

Avvia un'applicazione per il profilo utente

La procedura seguente mostra come avviare un'applicazione Studio Classic che ha come ambito un profilo utente.

Opzione 2: avvio TensorBoard dalla pagina di TensorBoard destinazione

La procedura seguente descrive come avviare un' TensorBoard applicazione dalla pagina di TensorBoard destinazione.

La schermata seguente mostra la posizione TensorBoard nel riquadro di navigazione a sinistra della SageMaker console e la pagina di TensorBoard destinazione SageMaker con nel riquadro principale.

Accedi e visualizza i dati di output dell'allenamento in TensorBoard

Puoi condurre un'analisi online o offline caricando i tensori di output raccolti dai bucket S3 abbinati ai processi di addestramento durante o dopo l'addestramento.

Quando si apre l' TensorBoard applicazione, TensorBoard si apre con la scheda SageMakerData Manager. La schermata seguente mostra la visualizzazione completa della scheda SageMaker Data Manager nell' TensorBoard applicazione.

Nella scheda SageMaker Data Manager, puoi selezionare qualsiasi processo di formazione e i dati di output di formazione TensorBoard compatibili con il carico da Amazon S3.

Esplora i dati sui risultati dell'allenamento visualizzati in TensorBoard

Nelle schede grafiche, puoi vedere l'elenco dei processi di addestramento caricati nel riquadro di sinistra. Puoi anche utilizzare le caselle di controllo dei processi di addestramento per mostrare o nascondere le visualizzazioni. I plugin TensorBoard dinamici vengono attivati dinamicamente a seconda di come avete impostato lo script di formazione per includere scrittori di riepilogo e pass callback per la raccolta tensoriale e scalare, e quindi anche le schede grafiche appaiono dinamicamente. Gli screenshot seguenti mostrano visualizzazioni di esempio di ciascuna scheda con visualizzazione di due processi di addestramento che hanno raccolto metriche per i plug-in di serie temporali, scalari, grafici, di distribuzione e istogrammi.

TIMESERIESLa visualizzazione a schede

La visualizzazione a SCALARS schede

La visualizzazione a GRAPHS schede

La visualizzazione a DISTRIBUTIONS schede

La visualizzazione a HISTOGRAMS schede

Eliminare le applicazioni non utilizzate TensorBoard

Al termine del monitoraggio e della sperimentazione dei job in TensorBoard, chiudi l' TensorBoard applicazione.

Considerazioni

Considerate quanto segue quando utilizzate SageMaker con TensorBoard.