TensorBoard À utiliser pour déboguer et analyser les tâches de formation sur Amazon SageMaker

Amazon SageMaker with TensorBoard est une fonctionnalité d'Amazon SageMaker qui intègre les outils de visualisation de TensorBoardto à SageMaker, intégrés à SageMaker Training et Domain. Il fournit des options pour administrer votre AWS compte et les utilisateurs appartenant au compte via le SageMaker domaine, pour permettre aux utilisateurs du domaine d'accéder aux TensorBoard données avec les autorisations appropriées pour Amazon S3 et pour aider les utilisateurs du domaine à effectuer des tâches de débogage de modèles à l'aide des plugins de TensorBoard visualisation. SageMaker avec TensorBoard est étendu avec le plugin SageMaker Data Manager, grâce auquel les utilisateurs du domaine peuvent accéder à un certain nombre de tâches de formation en un seul endroit dans l' TensorBoardapplication.

Pour les scientifiques des données

L'entraînement de grands modèles peut poser des problèmes scientifiques que les scientifiques des données doivent déboguer et résoudre afin d'améliorer la convergence des modèles et de stabiliser les processus de descente de gradient.

Lorsque vous rencontrez des problèmes d'entraînement de modèle, tels que la convergence de pertes ou la disparition ou l'explosion de poids et de gradients, vous devez accéder aux données tensorielles pour approfondir et analyser les paramètres du modèle, les scalaires et toute métrique personnalisée. À l'aide de SageMaker with TensorBoard, vous pouvez visualiser les tenseurs de sortie du modèle extraits des tâches d'entraînement. Lorsque vous testez différents modèles, plusieurs cycles d'entraînement et les hyperparamètres du modèle, vous pouvez sélectionner plusieurs tâches d'entraînement TensorBoard et les comparer au même endroit.

Pour les administrateurs

Depuis la page TensorBoard d'accueil de la SageMaker console ou du SageMaker domaine, vous pouvez gérer les utilisateurs de TensorBoard l'application si vous êtes administrateur d'un AWS compte ou d'un SageMaker domaine. Chaque utilisateur du domaine peut accéder à sa propre TensorBoard application avec les autorisations accordées. En tant SageMaker qu'administrateur de domaine et utilisateur du domaine, vous pouvez créer et supprimer l' TensorBoard application en fonction du niveau d'autorisation dont vous disposez.

Frameworks pris en charge et Régions AWS

Cette fonctionnalité prend en charge les frameworks de machine learning et les Régions AWS suivants.

Prérequis

La liste suivante indique les prérequis pour commencer à l'utiliser SageMaker . TensorBoard

Préparer un travail de formation avec une configuration des données de TensorBoard sortie

Une tâche de formation typique pour le deep learning SageMaker comprend deux étapes principales : la préparation d'un script de formation et la configuration d'un lanceur de tâches de SageMaker formation. Dans cette section, vous pouvez vérifier les modifications nécessaires pour collecter des données TensorBoard compatibles à partir de SageMaker Training.

Étape 1 : Modifier votre script d'entraînement

Assurez-vous de déterminer les tenseurs et les scalaires de sortie à collecter, et de modifier les lignes de code de votre script d'entraînement à l'aide de l'un des outils suivants : TensorBoard X, TensorFlow Summary Writer, PyTorch Summary Writer ou SageMaker Debugger.

Assurez-vous également de spécifier le chemin de sortie TensorBoard des données en tant que répertoire du journal (log_dir) pour le rappel dans le conteneur d'entraînement.

Pour plus d'informations sur les rappels par framework, consultez les ressources suivantes.

Étape 2 : Construire un lanceur d' SageMakerentraînement avec configuration TensorBoard des données

Utilisez-le sagemaker.debugger.TensorBoardOutputConfig lors de la configuration d'un estimateur de SageMaker framework. Cette configuration API mappe le compartiment S3 que vous spécifiez pour enregistrer les TensorBoard données avec le chemin local dans le conteneur d'entraînement (/opt/ml/output/tensorboard). Passez l'objet du module au paramètre tensorboard_output_config de la classe d'estimateur. L'extrait de code suivant montre un exemple de préparation d'un TensorFlow estimateur avec le TensorBoard paramètre de configuration de sortie.

"TensorBoardOutputConfig": { 
  "LocalPath": "/opt/ml/output/tensorboard",
  "S3OutputPath": "s3_output_bucket"
}

from sagemaker.tensorflow import TensorFlow
from sagemaker.debugger import TensorBoardOutputConfig

# Set variables for training job information, 
# such as s3_out_bucket and other unique tags.
... 

LOG_DIR="/opt/ml/output/tensorboard"

output_path = os.path.join(
    "s3_output_bucket", "sagemaker-output", "date_str", "your-training_job_name"
)

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=os.path.join(output_path, 'tensorboard'),
    container_local_output_path=LOG_DIR
)

estimator = TensorFlow(
    entry_point="train.py",
    source_dir="src",
    role=role,
    image_uri=image_uri,
    instance_count=1,
    instance_type="ml.c5.xlarge",
    base_job_name="your-training_job_name",
    tensorboard_output_config=tensorboard_output_config,
    hyperparameters=hyperparameters
)

Comment accéder TensorBoard à SageMaker

Vous pouvez y accéder TensorBoard par deux méthodes : par programmation en utilisant le sagemaker.interactive_apps.tensorboard module qui génère un document non signé ou présignéURL, ou en utilisant la page d'accueil de la TensorBoard console. SageMaker Une fois que vous l'avez ouvert TensorBoard, il SageMaker exécute le TensorBoard plugin et trouve automatiquement toutes les données de sortie des tâches de formation dans un format de fichier TensorBoard compatible.

Ouvrez TensorBoard à l'aide du sagemaker.interactive_apps.tensorboard module

Le sagemaker.interactive_apps.tensorboard module fournit une fonction appelée get_app_url qui génère des fichiers non signés ou présignés URLs pour ouvrir l' TensorBoard application dans n'importe quel environnement d'Amazon ou d' SageMaker Amazon. EC2 Cela vise à fournir une expérience unifiée aux utilisateurs de Studio Classic et aux non-utilisateurs de Studio Classic. Pour l'environnement Studio, vous pouvez ouvrir TensorBoard en exécutant la get_app_url() fonction telle quelle, ou vous pouvez également spécifier un nom de tâche pour démarrer le suivi à l'ouverture de l' TensorBoard application. Pour les environnements autres que Studio Classic, vous pouvez ouvrir TensorBoard en fournissant les informations de votre domaine et de profil utilisateur à la fonction utilitaire. Grâce à cette fonctionnalité, quel que soit l'endroit ou la manière dont vous exécutez le code d'entraînement et lancez les tâches de formation, vous pouvez y accéder directement en TensorBoard exécutant la get_app_url fonction dans votre bloc-notes ou votre terminal Jupyter.

Option 1 : pour SageMaker Studio Classic

Si vous utilisez SageMaker Studio Classic, vous pouvez directement ouvrir l' TensorBoardapplication ou récupérer une application non signée URL en exécutant la get_app_url fonction comme suit. Comme vous vous trouvez déjà dans l'environnement Studio Classic et que vous êtes connecté en tant qu'utilisateur de domaine, le code non signé est get_app_url() généré URL car il n'est pas nécessaire de vous authentifier à nouveau.

Pour ouvrir l' TensorBoard application

Le code suivant ouvre automatiquement l' TensorBoard application à partir du code non signé URL que la get_app_url() fonction renvoie dans le navigateur Web par défaut de votre environnement.

from sagemaker.interactive_apps import tensorboard

region = "us-west-2"
app = tensorboard.TensorBoardApp(region)

app.get_app_url(
    training_job_name="your-training_job_name" # Optional. Specify the job name to track a specific training job 
)

Pour récupérer une application non signée URL et ouvrir l' TensorBoardapplication manuellement

Le code suivant imprime un code non signé URL que vous pouvez copier dans un navigateur Web et ouvrir l' TensorBoard application.

from sagemaker.interactive_apps import tensorboard

region = "us-west-2"
app = tensorboard.TensorBoardApp(region)
print("Navigate to the following URL:")
print(
    app.get_app_url(
        training_job_name="your-training_job_name", # Optional. Specify the name of the job to track.
        open_in_default_web_browser=False           # Set to False to print the URL to terminal.
    )
)

Notez que si vous exécutez les deux exemples de code précédents en dehors de l'environnement SageMaker Studio Classic, la fonction renverra un URL vers la page TensorBoard d'accueil de la SageMaker console, car ceux-ci ne contiennent aucune information de connexion à votre domaine et à votre profil utilisateur. Pour créer un présignéURL, consultez l'option 2 dans la section suivante.

Option 2 : pour les environnements autres que Studio Classic

Si vous utilisez des environnements autres que Studio Classic, tels qu'une instance SageMaker Notebook ou AmazonEC2, et que vous souhaitez ouvrir TensorBoard directement depuis l'environnement dans lequel vous vous trouvez, vous devez générer un URL pré-signé avec les informations de votre domaine et de votre profil utilisateur. Un présigné URL est un nom URL qui est connecté à Amazon SageMaker Studio Classic lors de sa création avec votre domaine et votre profil utilisateur, et qui a donc accès à toutes les applications de domaine et à tous les fichiers associés à votre domaine. URL Pour ouvrir TensorBoard via un présignéURL, utilisez la get_app_url fonction avec votre nom de domaine et votre nom de profil utilisateur comme suit.

Notez que cette option nécessite l'sagemaker:CreatePresignedDomainUrlautorisation de l'utilisateur du domaine. Sans autorisation, l'utilisateur du domaine recevra une erreur d'exception.

print(
    app.get_app_url(
        training_job_name="your-training_job_name", # Optional. Specify the name of the job to track.
        create_presigned_domain_url=True,           # Reguired to be set to True for creating a presigned URL.
        domain_id="your-domain-id",                 # Required if creating a presigned URL (create_presigned_domain_url=True).
        user_profile_name="your-user-profile-name", # Required if creating a presigned URL (create_presigned_domain_url=True).
        open_in_default_web_browser=False,          # Optional. Set to False to print the URL to terminal.
        optional_create_presigned_url_kwargs={}     # Optional. Add any additional args for Boto3 create_presigned_domain_url
    )
)

optional_create_presigned_url_kwargs={"ExpiresInSeconds": 1500}

Navigate to the following URL:
https://us-west-2.console.aws.amazon.com/sagemaker/home?region=us-west-2#/tensor-board-landing

Ouvrez TensorBoard en utilisant la get_app_url fonction comme méthode estimator de classe

Si vous êtes en train d'exécuter une tâche d'entraînement en utilisant la estimator classe du SageMaker Python SDK et que vous avez un objet actif de cette estimator classe, vous pouvez également accéder à la get_app_urlfonction en tant que méthode de classe de la estimator classe. Ouvrez l' TensorBoard application ou récupérez une application non signée URL en exécutant la get_app_url méthode comme suit. La méthode get_app_url de classe extrait le nom de la tâche de formation de l'estimateur et ouvre l' TensorBoard application avec la tâche spécifiée.

Option 1 : pour SageMaker Studio Classic

Pour ouvrir l' TensorBoard application

Le code suivant ouvre automatiquement l' TensorBoard application à partir du code non signé URL renvoyé par la get_app_url() méthode dans le navigateur Web par défaut de votre environnement.

estimator.get_app_url(
    app_type=SupportedInteractiveAppTypes.TENSORBOARD # Required.
)

Pour récupérer une application non signée URL et ouvrir l' TensorBoardapplication manuellement

Le code suivant imprime un code non signé URL que vous pouvez copier dans un navigateur Web et ouvrir l' TensorBoard application.

print(
    estimator.get_app_url(
        app_type=SupportedInteractiveAppTypes.TENSORBOARD, # Required.
        open_in_default_web_browser=False, # Optional. Set to False to print the URL to terminal.
    )
) 

Notez que si vous exécutez les deux exemples de code précédents en dehors de l'environnement SageMaker Studio Classic, la fonction renverra un URL vers la page TensorBoard d'accueil de la SageMaker console, car ceux-ci ne contiennent aucune information de connexion à votre domaine et à votre profil utilisateur. Pour créer un présignéURL, consultez l'option 2 dans la section suivante.

Option 2 : pour les environnements autres que Studio Classic

Si vous utilisez des environnements autres que Studio Classic, tels que l'instance SageMaker Notebook et AmazonEC2, et que vous souhaitez générer un présigné URL pour ouvrir l' TensorBoard application, utilisez la get_app_url méthode avec les informations de votre domaine et de votre profil utilisateur comme suit.

Notez que cette option nécessite l'sagemaker:CreatePresignedDomainUrlautorisation de l'utilisateur du domaine. Sans autorisation, l'utilisateur du domaine recevra une erreur d'exception.

print(
    estimator.get_app_url(
        app_type=SupportedInteractiveAppTypes.TENSORBOARD, # Required
        create_presigned_domain_url=True,           # Reguired to be set to True for creating a presigned URL.
        domain_id="your-domain-id",                 # Required if creating a presigned URL (create_presigned_domain_url=True).
        user_profile_name="your-user-profile-name", # Required if creating a presigned URL (create_presigned_domain_url=True).
        open_in_default_web_browser=False,            # Optional. Set to False to print the URL to terminal.
        optional_create_presigned_url_kwargs={}       # Optional. Add any additional args for Boto3 create_presigned_domain_url
    )
) 

Ouvrez TensorBoard par le biais de la SageMaker console

Vous pouvez également utiliser l'interface utilisateur de la SageMaker console pour ouvrir l' TensorBoard application. Il existe deux options pour ouvrir l' TensorBoard application via la SageMaker console.

Option 1 : Lancer TensorBoard depuis la page des détails du domaine

Accédez à la page des détails du domaine

La procédure suivante indique comment accéder à la page de détails du domaine.

Lancement d'une application de profil utilisateur

La procédure suivante montre comment lancer une application Studio Classic limitée à un profil utilisateur.

Option 2 : Lancer TensorBoard depuis la page de TensorBoard destination

La procédure suivante décrit comment lancer une TensorBoard application depuis la page de TensorBoard destination.

La capture d'écran suivante montre l'emplacement de TensorBoard dans le volet de navigation gauche de la SageMaker console et la SageMaker page de TensorBoard destination dans le volet principal.

Accédez aux données de sortie d'entraînement et visualisez-les dans TensorBoard

Vous pouvez effectuer une analyse en ligne ou hors connexion en chargeant les tenseurs de sortie collectés à partir de compartiments S3 associés à des tâches d'entraînement pendant ou après l'entraînement.

Lorsque vous ouvrez l' TensorBoard application, elle TensorBoard s'ouvre avec l'onglet SageMakerData Manager. La capture d'écran suivante montre la vue complète de l'onglet SageMaker Data Manager de l' TensorBoard application.

Dans l'onglet SageMaker Data Manager, vous pouvez sélectionner n'importe quelle tâche de formation et charger des données de sortie d'entraînement TensorBoard compatibles depuis Amazon S3.

Explorez les données relatives aux résultats d'entraînement visualisées dans TensorBoard

Dans les onglets graphiques, vous pouvez voir la liste des tâches d'entraînement chargées dans le volet de gauche. Vous pouvez également utiliser les cases à cocher des tâches d'entraînement pour afficher ou masquer les visualisations. Les plugins TensorBoard dynamiques sont activés dynamiquement en fonction de la façon dont vous avez configuré votre script d'entraînement pour inclure des rédacteurs de résumés et transmettre des rappels pour la collecte de tenseurs et de scalaires. Les onglets graphiques apparaissent donc également de manière dynamique. Les captures d'écran suivantes montrent des exemples de vues de chaque onglet avec la visualisation de deux tâches d'entraînement qui ont collecté des métriques pour les plug-ins de séries chronologiques, de scalaires, de graphiques, de distribution et d'histogrammes.

La vue par TIME SERIES onglets

La vue par SCALARS onglets

La vue par GRAPHS onglets

La vue par DISTRIBUTIONS onglets

La vue par HISTOGRAMS onglets

Supprimer les TensorBoard applications inutilisées

Une fois que vous avez terminé de surveiller et d'expérimenter les tâches TensorBoard, fermez l' TensorBoard application.

Considérations

Tenez compte des points suivants lors de l'utilisation SageMaker avec TensorBoard.