Avviso di fine del supporto: il 31 ottobre 2025 AWS interromperà il supporto per Amazon Lookout for Vision. Dopo il 31 ottobre 2025, non potrai più accedere alla console Lookout for Vision o alle risorse Lookout for Vision. Per ulteriori informazioni, consulta questo post del blog.
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Come migliorare il modello Amazon Lookout for Vision
Durante l'allenamento, Lookout for Vision testa il modello con il set di dati di test e utilizza i risultati per creare metriche delle prestazioni. Puoi utilizzare le metriche delle prestazioni per valutare le prestazioni del tuo modello. Se necessario, puoi adottare misure per migliorare i tuoi set di dati e quindi riqualificare il modello.
Se sei soddisfatto delle prestazioni del modello, puoi iniziare a usarlo. Per ulteriori informazioni, consulta Esecuzione del modello Amazon Lookout for Vision addestrato.
Argomenti
Fase 1: Valuta le prestazioni del tuo modello
È possibile accedere alle metriche delle prestazioni dalla console e dall'DescribeModeloperazione. Amazon Lookout for Vision fornisce metriche riassuntive delle prestazioni per il set di dati di test e i risultati previsti per tutte le singole immagini. Se il modello è un modello di segmentazione, la console mostra anche le metriche di riepilogo per ogni etichetta di anomalia.
Per visualizzare le metriche delle prestazioni e testare le previsioni delle immagini nella console, consultaVisualizzazione dei parametri relativi alle prestazioni (console). Per informazioni sull'accesso alle metriche delle prestazioni e alle previsioni delle immagini di prova con l'DescribeModeloperazione, vedereVisualizzazione dei parametri relativi alle prestazioni (SDK).
Metriche di classificazione delle immagini
Amazon Lookout for Vision fornisce le seguenti metriche riassuntive per le classificazioni effettuate da un modello durante i test:
Metriche del modello di segmentazione delle immagini
Se il modello è un modello di segmentazione delle immagini, Amazon Lookout for Vision fornisce metriche riassuntive di classificazione delle immagini e metriche riassuntive delle prestazioni per ogni etichetta di anomalia:
Precisione
La metrica di precisione risponde alla domanda: quando il modello prevede che un'immagine contiene un'anomalia, con che frequenza tale previsione è corretta?
La precisione è una metrica utile per le situazioni in cui il costo di un falso positivo è elevato. Ad esempio, il costo della rimozione di una parte della macchina che non è difettosa da una macchina assemblata.
Amazon Lookout for Vision fornisce un valore metrico di precisione riepilogativo per l'intero set di dati di test.
La precisione è la frazione di anomalie correttamente previste (veri positivi) rispetto a tutte le anomalie previste (veri e falsi positivi). La formula per la precisione è la seguente.
Valore di precisione = veri positivi/(veri positivi+falsi positivi)
I valori possibili per la precisione vanno da 0 a 1. La console Amazon Lookout for Vision mostra la precisione come valore percentuale (0-100).
Un valore di precisione più elevato indica che la maggior parte delle anomalie previste sono corrette. Ad esempio, supponiamo che il modello preveda che 100 immagini siano anomale. Se 85 delle previsioni sono corrette (i veri positivi) e 15 sono errate (i falsi positivi), la precisione viene calcolata come segue:
85 veri positivi/ (85 veri positivi+15 falsi positivi) = 0,85 valore di precisione
Tuttavia, se il modello prevede correttamente solo 40 immagini su 100 previsioni di anomalie, il valore di precisione risultante è inferiore a 0,40 (ovvero 40/(40 + 60) = 0,40). In questo caso, il modello sta facendo più previsioni errate che previsioni corrette. Per risolvere questo problema, valuta la possibilità di apportare miglioramenti al tuo modello. Per ulteriori informazioni, consulta Fase 2: miglioramento del modello.
Per ulteriori informazioni, consulta la voce Precisione e recupero
Recall
La metrica di richiamo risponde alla domanda: del numero totale di immagini anomale nel set di dati del test, quante sono correttamente previste come anomale?
La metrica di richiamo è utile per le situazioni in cui il costo di un falso negativo è elevato. Ad esempio, quando il costo della mancata rimozione di una parte difettosa è elevato. Amazon Lookout for Vision fornisce un valore metrico di richiamo riepilogativo per l'intero set di dati di test.
Il richiamo è la frazione delle immagini di test anomale che sono state rilevate correttamente. È una misura della frequenza con cui il modello è in grado di prevedere correttamente un'immagine anomala, quando è effettivamente presente nelle immagini del set di dati di test. La formula per il recupero viene calcolata come segue:
Valore di richiamo = veri positivi/(veri positivi+falsi negativi)
L'intervallo di richiamo è compreso tra 0 e 1. La console Amazon Lookout for Vision visualizza il richiamo come valore percentuale (0-100).
Un valore di richiamo più elevato indica che la maggior parte delle immagini anomale sono state identificate correttamente. Ad esempio, supponiamo che il set di dati di test contenga 100 immagini anomale. Se il modello rileva correttamente 90 delle 100 immagini anomale, il richiamo è il seguente:
90 veri positivi/ (90 veri positivi+10 falsi negativi) = 0,90 valore di richiamo
Un valore di richiamo di 0,90 indica che il modello prevede correttamente la maggior parte delle immagini anomale nel set di dati di test. Se il modello prevede correttamente solo 20 delle immagini anomale, il richiamo è inferiore a 0,20 (ovvero 20/(20 + 80) = 0,20).
In questo caso, è necessario considerare l'opportunità di apportare miglioramenti al modello. Per ulteriori informazioni, consulta Fase 2: miglioramento del modello.
Per ulteriori informazioni, consulta la voce Precisione e recupero
Punteggio F1
Amazon Lookout for Vision fornisce un punteggio medio delle prestazioni del modello per il set di dati di test. In particolare, le prestazioni del modello per la classificazione delle anomalie vengono misurate dalla metrica del punteggio F1, che è la media armonica dei punteggi di precisione e richiamo.
Il punteggio F1 è una misura aggregata che tiene conto sia della precisione che del richiamo. Il punteggio relativo alle prestazioni del modello è un valore compreso tra 0 e 1. Più alto è il valore, migliori sono le prestazioni del modello sia in termini di richiamo che di precisione. Ad esempio, per un modello con una precisione di 0,9 e un richiamo di 1,0, il punteggio F1 è 0,947.
Se il modello non funziona bene, ad esempio, con una bassa precisione di 0,30 e un richiamo elevato di 1,0, il punteggio F1 è 0,46. Analogamente, se la precisione è alta (0,95) e il richiamo è basso (0,20), il punteggio F1 è 0,33. In entrambi i casi, il punteggio F1 è basso, il che indica problemi con il modello.
Per ulteriori informazioni consulta la voce F1 score
Intersezione media su Union (IoU)
La percentuale media di sovrapposizione tra le maschere di anomalia nelle immagini di test e le maschere di anomalia previste dal modello per le immagini di prova. Amazon Lookout for Vision restituisce l'IoU medio per ogni etichetta di anomalia e viene restituito solo dai modelli di segmentazione delle immagini.
Un valore percentuale basso indica che il modello non corrisponde accuratamente alle maschere previste per un'etichetta con le maschere nelle immagini di prova.
L'immagine seguente ha un IOU basso. La maschera arancione è la previsione del modello e non copre strettamente la maschera blu che rappresenta la maschera in un'immagine di prova.
L'immagine seguente ha un IOU più alto. La maschera blu (immagine di prova) è strettamente coperta dalla maschera arancione (maschera prevista).
Risultati dei test
Durante il test, il modello prevede la classificazione per ogni immagine di prova nel set di dati del test. Il risultato di ogni previsione viene confrontato con l'etichetta (normale o anomalia) dell'immagine di prova corrispondente come segue:
Prevedere correttamente che un'immagine è anomala è considerato un vero positivo.
La previsione errata che un'immagine sia anomala è considerata un falso positivo.
Prevedere correttamente che un'immagine è normale è considerato un vero negativo.
La previsione errata che un'immagine sia normale è considerata un falso negativo.
Se il modello è un modello di segmentazione, prevede anche maschere ed etichette di anomalia per la posizione delle anomalie sull'immagine di test.
Amazon Lookout for Vision utilizza i risultati dei confronti per generare le metriche delle prestazioni.
Fase 2: miglioramento del modello
Le metriche delle prestazioni potrebbero mostrare che puoi migliorare il tuo modello. Ad esempio, se il modello non rileva tutte le anomalie nel set di dati del test, il modello ha un richiamo basso (ovvero, la metrica di richiamo ha un valore basso). Per migliorare il modello, considera quanto segue:
Verifica che le immagini dei set di dati di addestramento e test siano etichettate correttamente.
Riduci la variabilità delle condizioni di acquisizione delle immagini, come l'illuminazione e la posa degli oggetti, e addestra il tuo modello su oggetti dello stesso tipo.
Assicurati che le tue immagini mostrino solo il contenuto richiesto. Ad esempio, se il progetto rileva anomalie nelle parti della macchina, assicurati che non ci siano altri oggetti nelle immagini.
Aggiungi altre immagini etichettate al tuo treno e ai set di dati di prova. Se il set di dati di test ha un richiamo e una precisione eccellenti ma il modello funziona male quando viene distribuito, il set di dati di test potrebbe non essere sufficientemente rappresentativo ed è necessario estenderlo.
-
Se il tuo set di dati di test risulta scarso in termini di richiamo e precisione, considera la corrispondenza tra le anomalie e le condizioni di acquisizione delle immagini nei set di dati di addestramento e di test. Se le immagini di allenamento non sono rappresentative delle anomalie e delle condizioni previste, ma le immagini nelle immagini di test lo sono, aggiungi immagini al set di dati di addestramento con le anomalie e le condizioni previste. Se le immagini del set di dati di test non sono nelle condizioni previste, ma le immagini di addestramento sì, aggiorna il set di dati di test.
Per ulteriori informazioni, consulta Aggiungere altre immagini. Un modo alternativo per aggiungere immagini etichettate al set di dati di allenamento consiste nell'eseguire un'attività di rilevamento di prova e verificare i risultati. È quindi possibile aggiungere le immagini verificate al set di dati di addestramento. Per ulteriori informazioni, consulta Verifica del modello con un'attività di rilevamento delle versioni di prova.
Assicurati di avere immagini normali e anomale sufficientemente diverse nel set di dati di allenamento e test. Le immagini devono rappresentare il tipo di immagini normali e anomale che il modello incontrerà. Ad esempio, quando si analizzano i circuiti stampati, le immagini normali devono rappresentare le variazioni di posizione e di saldatura dei componenti, come resistori e transistor. Le immagini anomale devono rappresentare i diversi tipi di anomalie che il sistema potrebbe riscontrare, ad esempio componenti fuori posto o mancanti.
-
Se il tuo modello ha un IOU medio basso per i tipi di anomalia rilevati, controlla gli output della maschera del modello di segmentazione. In alcuni casi d'uso, ad esempio i graffi, il modello potrebbe produrre graffi molto simili a quelli reali nelle immagini di prova, ma con una sovrapposizione di pixel ridotta. Ad esempio, due linee parallel distanti 1 pixel l'una dall'altra. In questi casi, Average IOU è un indicatore inaffidabile per misurare il successo della previsione.
-
Se le dimensioni dell'immagine sono ridotte o la risoluzione dell'immagine è bassa, prendi in considerazione l'acquisizione di immagini con una risoluzione più elevata. Le dimensioni dell'immagine possono variare da 64 x 64 pixel a 4096 pixel X 4096 pixel.
-
Se la dimensione dell'anomalia è ridotta, valuta la possibilità di dividere le immagini in riquadri separati e di utilizzare le immagini affiancate per l'addestramento e i test. Ciò consente al modello di vedere i difetti di dimensioni maggiori in un'immagine.
Dopo aver migliorato il set di dati di addestramento e test, riaddestrate e rivalutate il modello. Per ulteriori informazioni, consulta Addestrare il modello.
Se le metriche mostrano che il modello ha prestazioni accettabili, puoi verificarne le prestazioni aggiungendo i risultati di un'attività di rilevamento di prova al set di dati di test. Dopo la riqualificazione, le metriche delle prestazioni dovrebbero confermare le metriche delle prestazioni dell'allenamento precedente. Per ulteriori informazioni, consulta Verifica del modello con un'attività di rilevamento delle versioni di prova.
