Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Report sulle prestazioni del modello
Un report sulla qualità del modello Amazon SageMaker AI (noto anche come rapporto sulle prestazioni) fornisce approfondimenti e informazioni sulla qualità per il miglior modello candidato generato da un job di AutoML. Ciò include informazioni sui dettagli del processo, sul tipo di problema del modello, sulla funzione obiettivo e su vari parametri. Questa sezione descrive in dettaglio il contenuto di un rapporto sulle prestazioni per problemi di classificazione delle immagini e spiega come accedere alle metriche come dati grezzi in un JSON file.
Puoi trovare il prefisso Amazon S3 per gli artefatti del report sulla qualità del modello generati per il miglior candidato nella risposta a DescribeAutoMLJobV2 in BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights.
Il report sulle prestazioni contiene due sezioni:
-
La prima sezione contiene dettagli sul processo Autopilot che ha prodotto il modello.
-
La seconda sezione contiene un report sulla qualità del modello con vari parametri delle prestazioni.
Dettagli del processo Autopilot
Questa prima sezione del report fornisce alcune informazioni generali sul processo Autopilot che ha prodotto il modello. Questi dettagli includono le seguenti informazioni:
-
Nome del candidato Autopilot: il nome del miglior candidato modello.
-
Nome del processo Autopilot: Il nome del processo.
-
Tipo di problema: il tipo di problema. Nel nostro caso, classificazione delle immagini.
-
Parametro obiettivo: il parametro obiettivo utilizzato per ottimizzare le prestazioni del modello. Nel nostro caso, Precisione.
-
Direzione di ottimizzazione: indica se minimizzare o massimizzare il parametro obiettivo.
Report sulla qualità del modello
Le informazioni sulla qualità del modello vengono generate dalle informazioni del modello Autopilot. Il contenuto del report generato dipende dal tipo di problema risolto. Il report specifica il numero di righe incluse nel set di dati di valutazione e l'ora in cui è avvenuta la valutazione.
Tabelle di parametri
La prima parte del report sulla qualità del modello contiene le tabelle dei parametri. Questi sono i parametri appropriati per il tipo di problema risolto dal modello.
L'immagine seguente è un esempio di tabella dei parametri generata da Autopilot per un problema di classificazione di immagini o testi. Mostra il nome, il valore e la deviazione standard del parametro.
Informazioni sulle prestazioni del modello grafico
La seconda parte del report sulla qualità del modello contiene informazioni grafiche per aiutarti a valutare le prestazioni del modello. Il contenuto di questa sezione dipende dal tipo di problema selezionato.
Matrice di confusione
Una matrice di confusione consente di visualizzare l'accuratezza delle previsioni fatte da un modello per la classificazione binaria e multiclasse per diversi problemi.
Un riepilogo dei componenti del grafico relativi al tasso di falsi positivi (FPR) e al tasso di veri positivi (TPR) è definito come segue.
-
Previsioni corrette
-
True positive (TP): ha previsto il valore come 1 e il valore true è 1.
-
True positive (TN): ha previsto il valore come 0 e il valore true è 0.
-
-
Previsioni errate
-
False positive (FP): ha previsto il valore come 1, ma il valore true è 0.
-
False negative (FN): ha previsto il valore come 0, ma il valore true è 1.
-
La matrice di confusione nel report sulla qualità del modello contiene quanto segue.
-
Il numero e la percentuale di previsioni corrette ed errate per le etichette effettive
-
Il numero e la percentuale di previsioni accurate sulla diagonale dall'angolo superiore sinistro a quello inferiore destro
-
Il numero e la percentuale di previsioni imprecise sulla diagonale dall'angolo superiore destro a quello inferiore sinistro
Le previsioni errate su una matrice di confusione sono i valori di confusione.
Il diagramma seguente è un esempio di matrice di confusione per un problema di classificazione multiclasse. La matrice di confusione nel report sulla qualità del modello contiene quanto segue.
-
L'asse verticale è diviso in tre righe contenenti tre diverse etichette effettive.
-
L'asse orizzontale è diviso in tre colonne contenenti le etichette previste dal modello.
-
La barra dei colori assegna una tonalità più scura a un numero maggiore di campioni per indicare visivamente il numero di valori classificati in ciascuna categoria.
Nell'esempio seguente, il modello ha previsto correttamente 354 valori effettivi per l'etichetta f, 1094 valori per l'etichetta i e 852 valori per l'etichetta m. La differenza di tonalità indica che il set di dati non è bilanciato perché ci sono molte più etichette per il valore i che per f o m.
La matrice di confusione contenuta nel report sulla qualità del modello fornito può contenere un massimo di 15 etichette per tipi di problemi di classificazione multiclasse. Se una riga corrispondente a un'etichetta mostra un valore Nan, significa che il set di dati di convalida utilizzato per verificare le previsioni del modello non contiene dati con quell'etichetta.
