Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Amazon SageMaker Model Monitor monitora la qualità dei modelli di machine learning di Amazon SageMaker AI in produzione. Con Model Monitor, puoi configurare:
-
Monitoraggio continuo con un endpoint in tempo reale.
-
Monitoraggio continuo con un processo di trasformazione in batch che viene eseguito regolarmente.
-
Monitoraggio puntuale per processi di trasformazione batch asincroni.
Con Monitoraggio modello, puoi impostare avvisi che ti notificano quando ci sono deviazioni nella qualità del modello. Il rilevamento precoce e proattivo di queste deviazioni consente di intraprendere azioni correttive. È possibile intraprendere azioni come riqualificare i modelli, controllare i sistemi a monte o risolvere problemi di qualità senza dover monitorare manualmente i modelli o creare strumenti aggiuntivi. Puoi utilizzare funzionalità di monitoraggio del modello esistenti che non richiedono la codifica. Hai anche la flessibilità di monitorare i modelli mediante codifica per fornire analisi personalizzate.
Model Monitor offre i seguenti tipi di monitoraggio:
-
Qualità dei dati- Monitora le deviazioni della qualità dei dati.
-
Qualità del modello - Monitora le deviazioni dei parametri di qualità del modello, come la precisione.
-
Bias drift per i modelli in produzione- Monitora i bias nelle previsioni del modello.
-
Cambiamenti nell'attribuzione delle funzionalità per i modelli in produzione- Monitora le deviazioni nell’attributo delle funzionalità.
Argomenti
Come funziona Amazon SageMaker Model Monitor
Amazon SageMaker Model Monitor monitora automaticamente i modelli di machine learning (ML) in produzione e ti avvisa quando si verificano problemi di qualità. Il monitoraggio dei modelli utilizza regole per rilevare deviazioni nei modelli e ti avvisa quando si verificano. La figura seguente mostra come funziona questo processo nel caso in cui il modello venga distribuito su un endpoint in tempo reale.
Puoi utilizzare il monitoraggio dei modelli anche per monitorare un processo di trasformazione di batch anziché un endpoint in tempo reale. In questo caso, anziché ricevere richieste a un endpoint e tenere traccia delle previsioni, Model Monitor monitora gli input e gli output dell'inferenza. La figura seguente illustra il processo di monitoraggio di un processo di trasformazione di batch.
Per abilitare il monitoraggio del modello, procedi nel seguente modo. Questi passaggi seguono il percorso dei dati attraverso i vari processi di raccolta, monitoraggio e analisi dei dati.
-
Per un’abilitazione dell'endpoint in tempo reale, abilita l’endpoint per acquisire i dati dalle richieste in entrata a un modello ML addestrato e le previsioni risultanti dal modello.
-
Per un processo di trasformazione di batch, abilita l'acquisizione dei dati in ingresso e in uscita della trasformazione in batch.
-
Creazione di una linea di base dal set di dati utilizzato per l’addestramento del modello. La linea di base calcola i parametri e suggerisce i vincoli per le metriche stesse. Le previsioni in tempo reale o in batch del modello vengono confrontate con i vincoli. Vengono segnalate come violazioni se non rientrano nei valori vincolati.
-
Creazione di una pianificazione di monitoraggio specificando i dati da raccogliere, la frequenza di raccolta, la modalità di analisi e i report da produrre.
-
Esamina i report, che confrontano i dati più recenti con quelli di base. Controlla eventuali violazioni segnalate, parametri e notifiche da Amazon CloudWatch.
Note
-
Model Monitor calcola i parametri e le statistiche del modello solo su dati tabulari. Ad esempio, è possibile monitorare anche un modello di classificazione delle immagini che utilizza le immagini come input e genera un'etichetta sulla base di tale immagine. Il monitoraggio dei modelli sarebbe in grado di calcolare parametri e statistiche per l'output, non per l'input.
-
Il monitoraggio dei modelli attualmente supporta solo gli endpoint a modello singolo e non supporta il monitoraggio di endpoint a più modelli. Per informazioni sull'utilizzo di endpoint multi-modello, consulta Endpoint multi-modello.
-
Model Monitor supporta il monitoraggio delle pipeline di inferenza. Tuttavia, l'acquisizione e l'analisi dei dati vengono eseguite per l'intera pipeline, non per i singoli contenitori della pipeline.
-
Per prevenire l'impatto sulle richieste di inferenza, Acquisizione dei dati interrompe l'acquisizione delle richieste a livelli elevati di utilizzo del disco. Si consiglia di mantenere l'utilizzo del disco al di sotto del 75% per garantire che l'acquisizione dei dati continui a catturare le richieste.
-
Se avvii SageMaker Studio in un Amazon VPC personalizzato, devi creare endpoint VPC per consentire a Model Monitor di comunicare con Amazon S3 e. CloudWatch Per informazioni sugli endpoint VPC, consulta Endpoint VPC nella Guida per l'utente di Amazon Virtual Private Cloud. Per informazioni sull'avvio di SageMaker Studio in un VPC personalizzato, consulta. Collega i notebook Connect Studio in un VPC a risorse esterne
Notebook di esempio di Model Monitor
Per un notebook di esempio che ti guida attraverso il end-to-end flusso di lavoro utilizzando Model Monitor con il tuo endpoint in tempo reale, consulta Introduzione ad Amazon SageMaker Model Monitor
Per un notebook di esempio che visualizza il file statistics.json per una esecuzione selezionata in una pianificazione di monitoraggio, consulta Visualizzazione del monitoraggio del modello
Per istruzioni su come creare e accedere alle istanze di notebook Jupyter da utilizzare per eseguire l'esempio in AI, consulta. SageMaker Istanze Amazon SageMaker Notebook Dopo aver creato un'istanza di notebook e averla aperta, scegli la scheda Esempi SageMaker AI per visualizzare un elenco di tutti gli esempi di IA. SageMaker Per aprire un notebook, seleziona la relativa scheda Utilizza del notebook e scegli Crea copia.
