Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Model Dashboard FAQ
Consulta i seguenti FAQ argomenti per le risposte alle domande più frequenti su Amazon SageMaker Model Dashboard.
Amazon SageMaker Model Dashboard è un repository centralizzato di tutti i modelli creati nel tuo account. I modelli sono generalmente il risultato di lavori di SageMaker formazione, ma puoi anche importare modelli formati altrove e ospitarli sull'intelligenza artificiale. SageMaker Model Dashboard fornisce un'unica interfaccia per amministratori IT, model risk manager e dirigenti aziendali per tracciare tutti i modelli implementati e aggregare i dati provenienti da più AWS servizi per fornire indicatori sulle prestazioni dei modelli. È possibile visualizzare i dettagli sugli endpoint dei modelli, sui processi di trasformazione in batch e sui processi di monitoraggio per ulteriori informazioni sulle prestazioni del modello. La visualizzazione visiva del pannello di controllo consente di identificare rapidamente i modelli con monitor mancanti o inattivi, in modo da garantire che tutti i modelli vengano periodicamente controllati per rilevare eventuali deviazioni dei dati, dei modelli, distorsioni e variazioni nell'attribuzione delle funzionalità. Infine, l'accesso immediato del pannello di controllo ai dettagli del modello consente di effettuare analisi approfondite in modo da accedere a log, informazioni relative all'infrastruttura e risorse per eseguire il debug degli errori di monitoraggio.
È necessario creare uno o più modelli in SageMaker AI, addestrati sull' SageMaker IA o formati esternamente. Sebbene questo non sia un prerequisito obbligatorio, ottieni il massimo valore dalla dashboard se configuri processi di monitoraggio dei modelli tramite Amazon SageMaker Model Monitor per i modelli distribuiti sugli endpoint.
I model risk manager, i professionisti della machine learning, i data scientist e i leader aziendali possono ottenere una panoramica completa dei modelli utilizzando il Pannello di controllo del modello. La dashboard aggrega e visualizza i dati dei servizi Amazon SageMaker Model Cards, Endpoints e Model Monitor per visualizzare informazioni preziose come i metadati del modello dalla scheda modello e dal registro dei modelli, gli endpoint in cui vengono distribuiti i modelli e gli approfondimenti derivanti dal monitoraggio dei modelli.
Model Dashboard è disponibile immediatamente con Amazon SageMaker AI e non richiede alcuna configurazione precedente. Tuttavia, se hai configurato lavori di monitoraggio del SageMaker modello utilizzando Model Monitor e Clarify, utilizzi Amazon CloudWatch per configurare avvisi che segnalano nella dashboard quando le prestazioni del modello si discostano da un intervallo accettabile. Puoi creare e aggiungere nuove schede modello nel pannello di controllo e visualizzare tutti i risultati di monitoraggio associati agli endpoint. Il Pannello di controllo del modello attualmente non supporta i modelli tra più account.
Con Amazon SageMaker Model Monitor, puoi selezionare i dati che desideri monitorare e analizzare senza scrivere alcun codice. SageMaker Model Monitor ti consente di selezionare dati, come l'output di previsione, da un menu di opzioni e acquisisce metadati come timestamp, nome del modello ed endpoint in modo da poter analizzare le previsioni del modello. È possibile specificare la frequenza di campionamento dell'acquisizione dei dati come percentuale del traffico complessivo nel caso di previsioni in tempo reale ad alto volume. Questi dati vengono archiviati nel bucket Amazon S3. Puoi anche crittografare questi dati, configurare una sicurezza granulare, definire policy di conservazione dei dati e implementare meccanismi di controllo degli accessi per un accesso sicuro.
SageMaker Model Monitor fornisce i seguenti tipi di monitor modello:
-
Qualità dei dati: monitora le variazioni della qualità dei dati.
-
Qualità del modello: monitora le variazioni delle metriche di qualità del modello, come la precisione.
-
Deviazione del bias per i modelli in produzione: monitora le distorsioni nelle previsioni del modello confrontando la distribuzione dei dati di addestramento e quelli in tempo reale.
-
Deviazione dell'attribuzione delle funzionalità per i modelli in produzione: monitora la variazione nell'attribuzione delle funzionalità confrontando le relative classificazioni delle funzionalità nell’addestramento e nei dati in tempo reale.
Model Monitor attualmente supporta solo gli endpoint a modello singolo e non supporta il monitoraggio di endpoint multi-modello.
Per iniziare a monitorare i modelli, puoi utilizzare le seguenti risorse:
Per altri esempi di monitoraggio dei modelli, consulta il GitHub repository amazon-sagemaker-examples
Amazon SageMaker Model Monitor monitora automaticamente i modelli di machine learning in produzione, utilizzando regole per rilevare deviazioni nel modello. Model Monitor ti avvisa quando sorgono problemi di qualità tramite avvisi. Per ulteriori informazioni, consulta Come funziona Amazon SageMaker Model Monitor.
Model Monitor calcola le metriche e le statistiche del modello solo su dati tabulari. Per casi d'uso diversi dai set di dati tabulari, come immagini o testo, puoi utilizzare contenitori personalizzati (BYOC) per monitorare dati e modelli. Ad esempio, è possibile utilizzarlo BYOC per monitorare un modello di classificazione delle immagini che accetta le immagini come input e genera un'etichetta. Per maggiori informazioni sui termini di attivazione, consulta Support per i tuoi contenitori con Amazon SageMaker Model Monitor.
È possibile trovare BYOC esempi utili nei seguenti link:
Per dettagli su come integrare Model Monitor e Pipelines, consulta Amazon Pipelines ora si integra con SageMaker Model Monitor
Per un esempio, guarda l' GitHub esempio di integrazione di un notebook Pipelines con
Quando è attivata, l'acquisizione dei dati avviene in modo asincrono sugli endpoint AI. SageMaker Per prevenire l'impatto sulle richieste di inferenza, DataCapture interrompe l'acquisizione delle richieste a livelli elevati di utilizzo del disco. Si consiglia di mantenere l'utilizzo del disco al di sotto del 75% per garantire che DataCapture continui ad acquisire richieste.
