Entités de suivi de lignée - Amazon SageMaker

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Entités de suivi de lignée

Les entités de suivi conservent une représentation de tous les éléments de votre flux de travail d'apprentissage end-to-end automatique. Vous pouvez utiliser cette représentation pour établir une gouvernance de modèle, reproduire votre flux et conserver un enregistrement de votre historique de travail.

Amazon crée SageMaker automatiquement des entités de suivi pour les composants d'essai et les essais et expériences associés lorsque vous créez des SageMaker tâches telles que des tâches de traitement, des tâches de formation et des tâches de transformation par lots. En plus du suivi automatique, vous pouvez également Créer manuellement des entités de suivi pour modéliser des étapes personnalisées dans votre flux de travail. Pour de plus amples informations, veuillez consulter Gérez Amazon SageMaker Experiments dans Studio Classic.

SageMaker crée également automatiquement des entités de suivi pour les autres étapes d'un flux de travail afin que vous puissiez suivre le flux de travail de bout en bout. Pour de plus amples informations, veuillez consulter Amazon SageMaker —Entités de suivi créées.

Vous pouvez créer des entités supplémentaires pour compléter celles créées par SageMaker. Pour de plus amples informations, veuillez consulter Créer manuellement des entités de suivi.

SageMaker réutilise les entités existantes plutôt que d'en créer de nouvelles. Par exemple, il ne peut y avoir qu'un seul artefact avec un SourceUri unique.

Concepts clés de l'interrogation de lignée

  • Lignée – Métadonnées qui suivent les relations entre différentes entités dans vos flux de ML.

  • QueryLineage— L'action qui permet d'inspecter votre lignée et de découvrir les relations entre les entités.

  • Entités de lignée – Éléments de métadonnées dont votre lignée est composée.

  • Lignée entre comptes – Votre flux de travail de ML peut avoir plusieurs comptes. Avec le lignage entre comptes, vous pouvez configurer plusieurs comptes pour créer automatiquement des associations de lignage entre les ressources d'entités partagées. QueryLineage puis peut renvoyer des entités même à partir de ces comptes partagés.

Les entités de suivi suivantes sont définies :

Entités Experiments

  • Trial component (Composant d'essai) - Une étape d'un essai de machine learning. Inclut les tâches de traitement, les tâches d'entraînement et les tâches de transformation par lots.

  • Trial (Essai) – Combinaison de composants d'essai qui produit généralement un modèle.

  • Experiment (Expérience) – Groupe d'essais généralement axé sur la résolution d'un cas d'utilisation spécifique.

Entités de lignée

  • Composant d'essai – Représente les tâches de traitement, d'entraînement et de transformation dans la lignée. Fait également partie de la gestion des expériences.

  • Context (Contexte) – Fournit un regroupement logique d'autres entités de suivi ou d'expérience. Conceptuellement, les expériences et les essais sont des contextes. Quelques exemples sont un point de terminaison et un package de modèles.

  • Action – Représente une action ou une activité. Généralement, une action implique au moins un artefact d'entrée ou un artefact de sortie. Il s'agit par exemple d'une étape de flux et d'un déploiement de modèle.

  • Artifact — Représente un objet ou des URI données adressables. Un artefact est généralement une entrée ou une sortie d'un composant d'essai ou d'une action. Certains exemples incluent un ensemble de données (compartiment S3URI) ou une image (chemin de ECR registre Amazon).

  • Association – Relie d'autres entités de suivi ou d'expérience, telles qu'une association entre l'emplacement de données d'entraînement et une tâche d'entraînement.

    Une association dispose d'une propriété AssociationType facultative. Les valeurs suivantes sont disponibles ainsi que l'utilisation suggérée pour chaque type. SageMaker n'impose aucune restriction quant à leur utilisation :

    • ContributedTo – La source a contribué à la destination ou a joué un rôle dans l'activation de la destination. Par exemple, les données d'entraînement ont contribué à la tâche d'entraînement.

    • AssociatedWith – La source est connectée à la destination. Par exemple, un flux d'approbation est associé à un déploiement de modèle.

    • DerivedFrom – La destination est une modification de la source. Par exemple, une sortie de valeur de hachage d'une entrée de canal pour une tâche de traitement est dérivée des entrées d'origine.

    • Produced – La source a généré la destination. Par exemple, une tâche d'entraînement a produit un artefact de modèle.

    • SameAs – Lorsque la même entité de lignée est utilisée dans différents comptes.

Propriétés communes

  • Propriété type

    L'action, l'artefact et les entités de contexte ont une propriété type, ActionType, ArtifactType et ContextType respectivement. Cette propriété est une chaîne personnalisée qui peut associer des informations significatives à l'entité et être utilisée comme filtre dans la listeAPIs.

  • Propriété source

    L'action, l'artefact et les entités de contexte ont une propriété Source. Cette propriété fournit le sous-jacent URI que représente l'entité. Voici quelques exemples :

    • Une action UpdateEndpoint où la source est le EndpointArn.

    • Artefact d'image pour une tâche de traitement dont la source est le ImageUri.

    • Un contexte Endpoint où la source est le EndpointArn.

  • Propriété de métadonnées

    Les entités d'action et d'artefact ont une propriété Metadata facultative qui peut fournir les informations suivantes :

    • ProjectId— Par exemple, l'ID du SageMaker MLOps projet auquel appartient un modèle.

    • GeneratedBy— Par exemple, l'exécution du SageMaker pipeline qui a enregistré une version de package modèle.

    • Repository – Par exemple, le référentiel qui contient un algorithme.

    • CommitId – Par exemple, l'ID de validation d'une version d'algorithme.