Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esperimenti di apprendimento automatico con Amazon SageMaker con MLflow

Amazon SageMaker with MLflow è una funzionalità di Amazon SageMaker che ti consente di creare, gestire, analizzare e confrontare i tuoi esperimenti di machine learning.

Sperimentazione di machine learning

L'apprendimento automatico è un processo iterativo che richiede la sperimentazione di varie combinazioni di dati, algoritmi e parametri, osservando al contempo il loro impatto sulla precisione del modello. La natura iterativa della sperimentazione di machine learning si traduce in numerose sessioni e versioni di addestramento dei modelli, il che rende difficile tenere traccia dei modelli con le migliori prestazioni e delle relative configurazioni. La complessità della gestione e del confronto dei corsi di formazione iterativi aumenta con l'intelligenza artificiale generativa (IA generativa), dove la sperimentazione implica non solo la messa a punto dei modelli, ma anche l'esplorazione di risultati creativi e diversificati. I ricercatori devono regolare gli iperparametri, selezionare architetture modello adatte e curare diversi set di dati per ottimizzare sia la qualità che la creatività dei contenuti generati. La valutazione dei modelli di intelligenza artificiale generativa richiede metriche sia quantitative che qualitative, aggiungendo un altro livello di complessità al processo di sperimentazione.

MLflowUtilizzala con Amazon SageMaker per tracciare, organizzare, visualizzare, analizzare e confrontare la sperimentazione di machine learning iterativo per ottenere informazioni comparative e registrare e distribuire i modelli con le migliori prestazioni.

MLflowintegrazioni

Utilizzali MLflow durante la formazione e la valutazione dei modelli per trovare i candidati migliori per il tuo caso d'uso. Puoi confrontare le prestazioni, i parametri e le metriche del modello tra gli esperimenti nell'MLflowinterfaccia utente, tenere traccia dei tuoi modelli migliori nel MLflow Model Registry, registrarli automaticamente come SageMaker modello e distribuire i modelli registrati sugli endpoint. SageMaker

Amazon SageMaker con MLflow

Utilizzalo MLflow per tracciare e gestire la fase di sperimentazione del ciclo di vita dell'apprendimento automatico (ML) con AWS integrazioni per lo sviluppo, la gestione, l'implementazione e il monitoraggio dei modelli.

Amazon SageMaker Studio

Crea e gestisci server di tracciamento, esegui notebook per creare esperimenti e accedi all'MLflowinterfaccia utente per visualizzare e confrontare le esecuzioni degli esperimenti in Studio.

SageMaker Registro dei modelli

Gestisci le versioni dei modelli e i modelli di catalogo per la produzione registrando automaticamente i modelli dal MLflow Model Registry al SageMaker Model Registry. Per ulteriori informazioni, consulta Registra automaticamente i SageMaker modelli con Model Registry SageMaker .

SageMaker Inferenza

Prepara i tuoi modelli migliori per l'implementazione su un SageMaker endpoint utilizzando. ModelBuilder Per ulteriori informazioni, consulta Distribuisci MLflow modelli con ModelBuilder.

AWS Identity and Access Management

Configura l'accesso all'MLflowutilizzo del controllo degli accessi basato sui ruoli () RBAC con. IAM Scrivi politiche di IAM identità per autorizzare MLflow APIs ciò che può essere chiamato da un client di un MLflow server di tracciamento. Tutte MLflow REST APIs sono rappresentate come IAM azioni sotto il prefisso del sagemaker-mlflow servizio. Per ulteriori informazioni, consulta Imposta le IAM autorizzazioni per MLflow.

AWS CloudTrail

Visualizza i log in AWS CloudTrail per aiutarti ad abilitare il controllo operativo e dei rischi, la governance e la conformità del tuo account. AWS Per ulteriori informazioni, consulta AWS CloudTrail registri.

Amazon EventBridge

Automatizza la revisione del modello e il ciclo di vita della distribuzione utilizzando MLflow gli eventi acquisiti da Amazon. EventBridge Per ulteriori informazioni, consulta EventBridge Eventi Amazon.

Supportato Regioni AWS

Amazon SageMaker with MLflow è generalmente disponibile in tutte le regioni AWS commerciali in cui è disponibile Amazon SageMaker Studio, ad eccezione delle regioni e delle AWS GovCloud (US) regioni cinesi. SageMakerwith MLflow è disponibile solo AWS CLI in Europa (Zurigo), Asia Pacifico (Hyderabad), Asia Pacifico (Melbourne) e Canada occidentale (Calgary). Regioni AWS

I server di tracciamento vengono avviati in un'unica zona di disponibilità all'interno della regione specificata.

Come funziona

Un server di MLflow tracciamento ha tre componenti principali: elaborazione, archiviazione dei metadati di backend e archiviazione degli artefatti. L'elaborazione che ospita il server di tracciamento e l'archiviazione dei metadati di backend è ospitata in modo sicuro nell'account del servizio. SageMaker Lo storage degli artefatti risiede in un bucket Amazon S3 del tuo account. AWS

Un server di tracciamento dispone di un. ARN Puoi usarlo ARN per connetterlo MLflow SDK al tuo server di tracciamento e iniziare a registrare i tuoi allenamenti suMLflow.

Continua a leggere per ulteriori informazioni sui seguenti concetti chiave:

Archiviazione dei metadati nel backend

Quando crei un server di MLflow tracciamento, un archivio di backend, che conserva vari metadati per ogni esecuzione, come ID di esecuzione, orari di inizio e fine, parametri e metriche, viene automaticamente configurato all'interno dell'account di SageMaker servizio e gestito completamente per te.

Archiviazione degli artefatti

Per MLflow fornire uno storage persistente per i metadati per ogni esecuzione, come pesi dei modelli, immagini, file di modello e file di dati per le esecuzioni degli esperimenti, devi creare un archivio di artefatti utilizzando Amazon S3. L'artifact store deve essere configurato all'interno del tuo AWS account e devi fornire esplicitamente l'accesso ad Amazon S3 per MLflow accedere al tuo negozio di artifact. Per ulteriori informazioni, consulta Artifact Stores nella documentazione. MLflow

MLflowDimensioni del server di monitoraggio

Puoi facoltativamente specificare la dimensione del tuo server di tracciamento nell'interfaccia utente di Studio o con il AWS CLI parametro--tracking-server-size. Puoi scegliere tra "Small""Medium", e"Large". La dimensione di configurazione predefinita del server di MLflow tracciamento è"Small". È possibile scegliere una dimensione in base all'uso previsto del server di tracciamento, ad esempio il volume di dati registrati, il numero di utenti e la frequenza di utilizzo.

Consigliamo di utilizzare un server di tracciamento piccolo per team di massimo 25 utenti, un server di tracciamento medio per team fino a 50 utenti e un server di tracciamento grande per team fino a 100 utenti. Partiamo dal presupposto che tutti gli utenti invieranno richieste simultanee al tuo server di MLflow tracciamento per formulare questi consigli. È necessario selezionare la dimensione del server di tracciamento in base al modello di utilizzo previsto e alle TPS (Transazioni al secondo) supportate da ciascun server di tracciamento.

Versioni del server di tracciamento

Le seguenti MLflow versioni sono disponibili per l'uso con SageMaker:

AWS CloudTrail registri

AWS CloudTrail registra automaticamente le attività relative al server di MLflow tracciamento. Vengono API registrate le seguenti chiamate: CloudTrail

Per ulteriori informazioni in merito CloudTrail, consulta la Guida per l'AWS CloudTrail utente.

EventBridge Eventi Amazon

EventBridge Utilizzalo per indirizzare gli eventi dall'uso MLflow SageMaker alle applicazioni consumer in tutta l'organizzazione. I seguenti eventi vengono emessi a EventBridge:

Per ulteriori informazioni EventBridge, consulta la Amazon EventBridge User Guide.