Entità di monitoraggio del lineage - Amazon SageMaker

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Entità di monitoraggio del lineage

Le entità di tracciamento mantengono una rappresentazione di tutti gli elementi del flusso di lavoro di end-to-end machine learning. È possibile utilizzare questa rappresentazione per stabilire una governance dei modelli, riprodurre il flusso di lavoro e conservare una registrazione della propria cronologia di lavoro.

Amazon crea SageMaker automaticamente entità di tracciamento per i componenti di prova e le prove e gli esperimenti associati quando crei SageMaker lavori come processi di elaborazione, lavori di formazione e lavori di trasformazione in batch. Oltre al monitoraggio automatico, puoi anche Creazione manuale di entità di monitoraggio per modellare fasi personalizzate nel tuo flusso di lavoro. Per ulteriori informazioni, consulta SageMaker Esperimenti Amazon in Studio Classic.

SageMaker inoltre, crea automaticamente entità di tracciamento per le altre fasi di un flusso di lavoro in modo da poterlo tracciare dall'inizio alla fine. Per ulteriori informazioni, consulta Amazon SageMaker: entità di tracciamento create.

È possibile creare entità aggiuntive da aggiungere a quelle create da SageMaker. Per ulteriori informazioni, consulta Creazione manuale di entità di monitoraggio.

SageMaker riutilizza tutte le entità esistenti anziché crearne di nuove. Ad esempio, può esserci un solo artefatto con un SourceUri univoco.

Concetti chiave per eseguire query del lineage

  • Lineage: metadati che monitorano le relazioni tra varie entità nei flussi di lavoro ML.

  • QueryLineage— L'azione per esaminare la propria discendenza e scoprire le relazioni tra le entità.

  • Entità di lineage: gli elementi di metadati di cui è composto il lineage.

  • Lineage multi-account: il flusso di lavoro ML può riguardare più di un account. Con la derivazione tra account, puoi configurare più account per creare automaticamente associazioni di discendenza tra risorse di entità condivise. QueryLineage quindi può restituire entità anche da questi account condivisi.

Sono definite le seguenti entità di monitoraggio:

Entità esperimento

  • Componente di prova: una fase di una prova di machine learning. Include processi di elaborazione, processi di addestramento e processi di trasformazione di batch.

  • Prova: una combinazione di componenti di prova che generalmente produce un modello.

  • Esperimento: un gruppo di prove generalmente incentrato sulla risoluzione di un caso d'uso specifico.

Entità di lineage

  • Componente di prova: rappresenta i processi di elaborazione, addestramento e trasformazione del lineage. Fa anche parte della gestione degli esperimenti.

  • Contesto: fornisce un raggruppamento logico di altre entità di monitoraggio o esperimento. Concettualmente, gli esperimenti e le prove sono contesti. Alcuni esempi sono un endpoint e un pacchetto del modello.

  • Azione: rappresenta un'azione o un'attività. In genere, un'azione coinvolge almeno un artefatto di input o un artefatto di output. Alcuni esempi sono una fase del flusso di lavoro e un'implementazione del modello.

  • Artefatto: rappresenta URI un oggetto o un dato indirizzabile. Un artefatto è generalmente un input o un output per un componente o un'operazione di prova. Alcuni esempi includono un set di dati (bucket S3URI) o un'immagine (percorso ECR del registro Amazon).

  • Associazione: collega altre entità di monitoraggio o esperimento, ad esempio un'associazione tra la posizione dei dati di addestramento e un processo di addestramento.

    Un'associazione ha una proprietà AssociationType facoltativa. I seguenti valori sono disponibili insieme all'uso suggerito per ogni tipo. SageMaker non pone restrizioni al loro utilizzo:

    • ContributedTo: l'origine ha contribuito alla destinazione o ha contribuito a favorirla. Ad esempio, i dati di addestramento hanno contribuito al processo di addestramento.

    • AssociatedWith: l'origine è collegata alla destinazione. Ad esempio, un flusso di lavoro di approvazione è associato all'implementazione di un modello.

    • DerivedFrom: la destinazione è una modifica dell'origine. Ad esempio, l'output digest di un input del canale per un processo di elaborazione deriva dagli input originali.

    • Produced: l'origine ha generato la destinazione. Ad esempio, un processo di addestramento ha prodotto un artefatto del modello.

    • SameAs: quando la stessa entità di lineage viene utilizzata in account diversi.

Proprietà comuni

  • Proprietà di tipo

    Le entità azione, artefatto e contesto hanno una proprietà di tipo; ActionType, ArtifactType e ContextType, rispettivamente. Questa proprietà è una stringa personalizzata che può associare informazioni significative all'entità ed essere utilizzata come filtro nell'elencoAPIs.

  • Proprietà di origine

    Le entità azione, artefatto e contesto hanno una proprietà Source. Questa proprietà fornisce il sottostante URI rappresentato dall'entità. Alcuni esempi sono:

    • Un'azione UpdateEndpoint in cui l'origine è EndpointArn.

    • Un artefatto di immagine per un processo di elaborazione in cui l'origine è ImageUri.

    • Un contesto Endpoint in cui l'origine è EndpointArn.

  • Proprietà di metadati

    Le entità operazione e artefatto hanno una proprietà Metadata opzionale che può fornire le seguenti informazioni:

    • ProjectId— Ad esempio, l'ID del SageMaker MLOps progetto a cui appartiene un modello.

    • GeneratedBy— Ad esempio, l'esecuzione della SageMaker pipeline che ha registrato una versione del pacchetto modello.

    • Repository: ad esempio, il repository che contiene un algoritmo.

    • CommitId: ad esempio, l'ID commit di una versione dell'algoritmo.