View a markdown version of this page

Multi-Model Orchestrazione del flusso di lavoro di inferenza - Multi-Model Orchestrazione del flusso di lavoro di inferenza
Multi-Model Orchestrazione del flusso di lavoro di inferenzaApprofondimentiStoria del diagramma

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Multi-Model Orchestrazione del flusso di lavoro di inferenza

Data di pubblicazione: 28 marzo 2022 () Storia del diagramma

Questa architettura mostra come orchestrare l'esecuzione di più modelli ML per ottenere informazioni complesse ML-driven . Con AWS Step Functions Amazon SageMaker AI, puoi eseguire processi di inferenza paralleli e aggregare i risultati.

Multi-Model Orchestrazione del flusso di lavoro di inferenza

Diagramma di architettura che mostra l'orchestrazione del flusso di lavoro di inferenza multimodello con intelligenza artificiale. AWS Step Functions SageMaker

I passaggi seguenti descrivono l'architettura:

  1. Amazon API Gateway fornisce un'interfaccia RESTful per utenti e amministratori. I pool di utenti di Amazon Cognito forniscono l'autenticazione.

  2. Un nuovo lavoro viene creato tramite una POST richiesta all'API, con i dati /create-job su cui eseguire gli approfondimenti. Questo richiama la AWS Lambda funzione di creazione del lavoro.

  3. La funzione carica i dati in un bucket Amazon Simple Storage Service e aggiunge le informazioni sul lavoro a una tabella Amazon DynamoDB per il monitoraggio.

  4. Le funzioni Lambda forniscono la logica per i metodi API esposti tramite API Gateway. Queste consentono di creare, monitorare i lavori e facilitare il recupero dei risultati.

  5. Il nuovo elemento nella tabella attiva un flusso DynamoDB che a sua volta attiva il flusso di lavoro Step Functions per l'inferenza.

  6. Il flusso di lavoro Step Functions orchestra tutti i passaggi necessari per eseguire più lavori di inferenza ML sull'oggetto dati fornito.

  7. Le informazioni sui metadati sugli endpoint ML sono archiviate in una tabella DynamoDB per essere utilizzate nel flusso di lavoro.

  8. Una mappa dello stato nella funzione step richiama ogni endpoint ML e memorizza i risultati in parallelo. Ciò consente al flusso di lavoro di scalare fino a qualsiasi numero di invocazioni di endpoint ML.

  9. SageMaker Gli endpoint del modello AI ospitano i modelli ML. Il flusso di lavoro richiama questi endpoint per categoria.

  10. I risultati finali di tutte le informazioni sul machine learning raccolte per i dati vengono archiviati in Amazon S3.

  11. Al termine del flusso di lavoro, puoi recuperare i risultati finali tramite una GET richiesta a. /get-job-results Questo richiama la funzione Lambda get job results, che legge il bucket Amazon S3.

  12. Multi-model gli endpoint possono estendere ogni tipo di modello con ottimizzazioni aggiuntive, come l'inferenza specifica della lingua per categoria.

Approfondimenti

Per ulteriori informazioni, consulta le seguenti risorse:

Storia del diagramma

Per ricevere notifiche sugli aggiornamenti di questo diagramma di architettura di riferimento, iscriviti al feed RSS.

ModificaDescrizioneData

Pubblicazione iniziale

Diagramma dell'architettura di riferimento pubblicato per la prima volta.

28 marzo 2022

Nota

Per iscriverti agli aggiornamenti RSS, devi avere un plugin RSS abilitato per il browser che stai utilizzando.