Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Amélioration de votre modèle Amazon Lookout for Vision
Pendant l'entraînement, Lookout for Vision teste votre modèle à l'aide du jeu de données de test et utilise les résultats pour créer des mesures de performance. Vous pouvez utiliser des mesures de performance pour évaluer les performances de votre modèle. Si nécessaire, vous pouvez prendre des mesures pour améliorer vos jeux de données, puis réentraîner votre modèle.
Si vous êtes satisfait des performances de votre modèle, vous pouvez commencer à l'utiliser. Pour plus d'informations, veuillez consulter Exécution de votre modèle Amazon Lookout for Vision entraîné.
Rubriques
Étape 1 : Évaluez les performances de votre modèle
Vous pouvez accéder aux mesures de performance depuis la console et depuis l'DescribeModelopération. Amazon Lookout for Vision fournit des mesures de performance récapitulatives pour l'ensemble de données de test et les résultats prévus pour toutes les images individuelles. Si votre modèle est un modèle de segmentation, la console affiche également des mesures récapitulatives pour chaque étiquette d'anomalie.
Pour consulter les mesures de performance et les prévisions d'images de test dans la console, consultezConsultation des métriques de performances (console). Pour plus d'informations sur l'accès aux mesures de performance et aux prévisions d'images de test dans le cadre de l'DescribeModelopération, reportez-vous à la sectionConsultation des métriques de performances (SDK).
métriques de classification des images
Amazon Lookout for Vision fournit les mesures récapitulatives suivantes pour les classifications effectuées par un modèle lors des tests :
Métriques du modèle de segmentation d'images
S'il s'agit d'un modèle de segmentation d'images, Amazon Lookout for Vision fournit des statistiques récapitulatives de classification des images et des mesures de performance récapitulatives pour chaque étiquette d'anomalie :
Précision
La métrique de précision répond à la question suivante : lorsque le modèle prédit qu'une image contient une anomalie, à quelle fréquence cette prédiction est-elle correcte ?
La précision est une métrique utile dans les situations où le coût d'un faux positif est élevé. Par exemple, le coût du retrait d'une pièce de machine qui n'est pas défectueuse d'une machine assemblée.
Amazon Lookout for Vision fournit une valeur métrique de précision récapitulative pour l'ensemble de données de test.
La précision est la fraction d'anomalies correctement prédites (vrais positifs) par rapport à toutes les anomalies prédites (vrais et faux positifs). La formule de précision est la suivante.
Valeur de précision = vrais positifs/ (vrais positifs+ faux positifs)
Les valeurs de précision possibles sont comprises entre 0 et 1. La console Amazon Lookout for Vision affiche la précision sous forme de pourcentage (0 à 100).
Une valeur de précision plus élevée indique qu'un plus grand nombre d'anomalies prédites sont correctes. Supposons, par exemple, que votre modèle prédise que 100 images sont anormales. Si 85 des prédictions sont correctes (les vrais positifs) et 15 sont incorrectes (les faux positifs), la précision est calculée comme suit :
85 vrais positifs/ (85 vrais positifs+15 faux positifs) = valeur de précision de 0,85
Toutefois, si le modèle ne prédit correctement que 40 images sur 100 prédictions d'anomalies, la valeur de précision résultante est inférieure à 0,40 (c'est-à-dire 40/(40 + 60) = 0,40). Dans ce cas, votre modèle fait plus de prédictions incorrectes que de prédictions correctes. Pour résoudre ce problème, pensez à apporter des améliorations à votre modèle. Pour plus d'informations, veuillez consulter Étape 2 : améliorer votre modèle.
Pour plus d'informations, consultez Précision et rappel
Sensibilité
La métrique de rappel répond à la question suivante : Sur le nombre total d'images anormales de l'ensemble de données de test, combien sont correctement prédites comme anormales ?
La métrique de rappel est utile dans les situations où le coût d'un faux négatif est élevé. Par exemple, lorsque le coût de ne pas retirer une pièce défectueuse est élevé. Amazon Lookout for Vision fournit une valeur de métrique de rappel récapitulative pour l'ensemble de données de test.
Le rappel est la fraction des images de test anormales qui ont été détectées correctement. Il s'agit d'une mesure de la fréquence à laquelle le modèle peut prédire correctement une image anormale, alors qu'elle est réellement présente dans les images de votre jeu de données de test. La formule de rappel est calculée comme suit :
Valeur de rappel = vrais positifs/ (vrais positifs+ faux négatifs)
La plage de rappel est comprise entre 0 et 1. La console Amazon Lookout for Vision affiche le rappel sous forme de pourcentage (0 à 100).
Une valeur de rappel plus élevée indique qu'un plus grand nombre d'images anormales sont correctement identifiées. Supposons, par exemple, que le jeu de données de test contienne 100 images anormales. Si le modèle détecte correctement 90 des 100 images anormales, le rappel est le suivant :
90 vrais positifs/ (90 vrais positifs+10 faux négatifs) = valeur de rappel de 0,90
Une valeur de rappel de 0,90 indique que votre modèle prédit correctement la plupart des images anormales du jeu de données de test. Si le modèle ne prédit correctement que 20 des images anormales, le rappel est inférieur à 0,20 (soit 20/(20 + 80) = 0,20).
Dans ce cas, vous devriez envisager d'apporter des améliorations à votre modèle. Pour plus d'informations, veuillez consulter Étape 2 : améliorer votre modèle.
Pour plus d'informations, consultez Précision et rappel
Spot de F1
Amazon Lookout for Vision fournit un score de performance moyen du modèle pour l'ensemble de données de test. Plus, les performances du modèle pour la classification des anomalies sont mesurées par la métrique F1, qui représente la moyenne harmonique des scores de précision et de rappel.
Le score F1 est une mesure agrégée qui prend en compte à la fois la précision et le rappel. Le score de performance du modèle est une valeur comprise entre 0 et 1. Plus la valeur est élevée, meilleures sont les performances du modèle en termes de rappel et de précision. Par exemple, pour un modèle avec une précision de 0,9 et un rappel de 1,0, le score F1 est de 0,947.
Si le modèle ne fonctionne pas bien, par exemple avec une faible précision de 0,30 et un rappel élevé de 1,0, le score F1 est de 0,46. De même, si la précision est élevée (0,95) et le rappel faible (0,20), le score F1 est de 0,33. Dans les deux cas, le score F1 est faible, ce qui indique des problèmes avec le modèle.
Pour plus d'informations, consultez Spot F1
Intersection moyenne au-dessus de Union (IoU)
Le pourcentage moyen de chevauchement entre les masques d'anomalies des images de test et les masques d'anomalies que le modèle prédit pour les images de test. Amazon Lookout for Vision renvoie l'IOU moyen pour chaque étiquette d'anomalie et n'est renvoyé que par les modèles de segmentation d'images.
Un faible pourcentage indique que le modèle ne correspond pas exactement aux masques prédits pour une étiquette avec les masques des images de test.
L'image suivante a un faible IOU. Le masque orange est la prédiction du modèle et ne couvre pas étroitement le masque bleu qui représente le masque dans une image de test.
L'image suivante a un IOU plus élevé. Le masque bleu (image de test) est étroitement recouvert par le masque orange (masque prédit).
Résultats des tests
Pendant les tests, le modèle prédit la classification de chaque image de test dans l'ensemble de données de test. Le résultat de chaque prédiction est comparé à l'étiquette (normale ou anormale) de l'image de test correspondante comme suit :
Prédire correctement qu'une image est anormale est considéré comme un véritable positif.
Prédire à tort qu'une image est anormale est considéré comme un faux positif.
Prédire correctement qu'une image est normale est considéré comme un vrai négatif.
Prédire de manière incorrecte qu'une image est normale est considéré comme un faux négatif.
S'il s'agit d'un modèle de segmentation, le modèle prédit également des masques et des étiquettes d'anomalies pour la localisation des anomalies sur l'image de test.
Amazon Lookout for Vision utilise les résultats des comparaisons pour générer les mesures de performance.
Étape 2 : améliorer votre modèle
Les mesures de performance peuvent montrer que vous pouvez améliorer votre modèle. Par exemple, si le modèle ne détecte pas toutes les anomalies dans l'ensemble de données de test, le rappel de votre modèle est faible (c'est-à-dire que la métrique de rappel a une faible valeur). Si votre modèle
Vérifiez que les images des ensembles de données d'entraînement et de test sont correctement étiquetées.
Réduisez la variabilité des conditions de capture d'images telles que l'éclairage et la pose des objets, et entraînez votre modèle sur des objets du même type.
Assurez-vous que vos images ne présentent que le contenu requis. Par exemple, si votre projet détecte des anomalies dans des pièces de machines, assurez-vous qu'aucun autre objet ne figure sur vos images.
Ajoutez d'autres images étiquetées à vos ensembles de données de train et de test. Si votre jeu de données de test présente une excellente mémorisation et une précision excellentes, mais que le modèle fonctionne mal lorsqu'il est déployé, votre jeu de données de test n'est peut-être pas suffisamment représentatif et vous devez l'étendre.
-
Si votre ensemble de données de test entraîne un manque de mémorisation et de précision, déterminez dans quelle mesure les anomalies et les conditions de capture d'images des ensembles de données d'entraînement et de test correspondent. Si vos images d'entraînement ne sont pas représentatives des anomalies et des conditions attendues, mais que les images des images de test le sont, ajoutez des images au jeu de données d'entraînement avec les anomalies et les conditions attendues. Si les images du jeu de données de test ne sont pas dans les conditions attendues, mais que les images d'apprentissage le sont, mettez à jour l'ensemble de données de test.
Pour plus d'informations, veuillez consulter Ajouter d'autres images. Une autre méthode pour ajouter des images étiquetées à votre jeu de données d'entraînement consiste à exécuter une tâche de détection d'essai et à vérifier les résultats. Vous pouvez ensuite ajouter les images vérifiées à l'ensemble de données d'entraînement. Pour plus d'informations, veuillez consulter Vérification de votre modèle à l'aide d'une tâche de détection d'essai.
Assurez-vous de disposer d'images normales et anormales suffisamment diverses dans votre ensemble de données d'entraînement et de test. Les images doivent représenter le type d'images normales et anormales que votre modèle rencontrera. Par exemple, lors de l'analyse de cartes de circuits imprimés, vos images normales doivent représenter les variations de position et de soudure des composants, tels que les résistances et les transistors. Les images anormales doivent représenter les différents types d'anomalies que le système peut rencontrer, telles que des composants égarés ou manquants.
-
Si l'IOU moyen de votre modèle est faible pour les types d'anomalies détectés, vérifiez les sorties de masque du modèle de segmentation. Dans certains cas d'utilisation, tels que les rayures, le modèle peut présenter des rayures très proches des rayures réelles sur les images de test, mais avec un faible chevauchement de pixels. Par exemple, deux lignes parallel distantes d'un pixel. Dans ces cas, l'IOU moyen n'est pas un indicateur fiable pour mesurer le succès des prévisions.
-
Si la taille de l'image est petite ou si la résolution de l'image est faible, envisagez de capturer des images à une résolution plus élevée. Les dimensions de l'image peuvent aller de 64 x 64 pixels à 4 096 pixels x 4 096 pixels.
-
Si la taille de l'anomalie est faible, pensez à diviser les images en vignettes distinctes et à utiliser les images mosaïques pour la formation et les tests. Cela permet au modèle de voir les défauts à une taille plus grande dans une image.
Après avoir amélioré votre jeu de données d'entraînement et de test, réentraînez et réévaluez votre modèle. Pour plus d'informations, veuillez consulter Entraînement de votre modèle.
Si les mesures indiquent que les performances de votre modèle sont acceptables, vous pouvez vérifier ses performances en ajoutant les résultats d'une tâche de détection d'essai au jeu de données de test. Après le réentraînement, les indicateurs de performance doivent confirmer les indicateurs de performance de l'entraînement précédent. Pour plus d'informations, veuillez consulter Vérification de votre modèle à l'aide d'une tâche de détection d'essai.
