Consultation des métriques de performances - Amazon Lookout for Vision
Consultation des métriques de performances (console)Consultation des métriques de performances (SDK)

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Consultation des métriques de performances

Vous pouvez obtenir des mesures de performance à partir de la console et en appelant l'DescribeModelopération.

Consultation des métriques de performances (console)

Une fois l'entraînement terminé, la console affiche les indicateurs de performance.

La console Amazon Lookout for Vision affiche les indicateurs de performance suivants pour les classifications effectuées lors des tests :

S'il s'agit d'un modèle de segmentation, la console affiche également les mesures de performance suivantes pour chaque étiquette d'anomalie :

La section de présentation des résultats du test vous indique le total des prévisions correctes et incorrectes pour les images de l'ensemble de données de test. Vous pouvez également consulter les attributions d'étiquettes prévues et réelles pour les images individuelles dans l'ensemble de données de test.

La procédure suivante montre comment obtenir les métriques de performances à partir de la liste des modèles d'un projet.

Pour consulter les métriques de performances (console)

  1. Ouvrez la console Amazon Lookout for Vision à l'adresse https://console.aws.amazon.com/lookoutvision/.

  2. Sélectionnez Get started (Démarrer).

  3. Dans le panneau de navigation de gauche, choisissez Projects.

  4. Dans la vue des projets, choisissez le projet qui contient la version du modèle à afficher.

  5. Dans le panneau de navigation de gauche, sous le nom du projet, choisissez Models.

  6. Dans la vue de la liste des modèles, choisissez les versions du modèle à afficher.

  7. Sur la page de détails du modèle, consultez les mesures de performance dans l'onglet Mesures de performance.

  8. Notez ce qui suit :

    1. La section Mesures de performance du modèle contient les mesures globales du modèle (précision, rappel, score F1) pour les prédictions de classification que le modèle a effectuées pour les images de test.

    2. S'il s'agit d'un modèle de segmentation d'images, la section Performances par étiquette contient le nombre d'images de test sur lesquelles l'étiquette d'anomalie a été trouvée. Vous pouvez également consulter des statistiques (score F1, IOU moyen) pour chaque étiquette d'anomalie.

    3. La section Présentation des résultats des tests fournit les résultats de chaque image de test utilisée par Lookout for Vision pour évaluer le modèle. Elle comprend les éléments suivants :

      • Nombre total de prédictions de classification correctes (vrais positifs) et incorrectes (faux négatifs) (normales ou anormales) pour toutes les images de test.

      • La prédiction de classification pour chaque image de test. Si vous voyez Correct sous une image, la classification prévue correspond à la classification réelle de l'image. Sinon, le modèle n'a pas correctement classé l'image.

      • Avec un modèle de segmentation d'image, vous pouvez voir des étiquettes d'anomalies que le modèle a attribuées à l'image et des masques sur l'image qui correspondent aux couleurs des étiquettes d'anomalie.

Consultation des métriques de performances (SDK)

Vous pouvez utiliser cette DescribeModelopération pour obtenir les mesures de performance récapitulatives (classification) du modèle, le manifeste d'évaluation et les résultats d'évaluation d'un modèle.

Obtenir les indicateurs de performance récapitulatifs

Les mesures de performance récapitulatives pour les prédictions de classification effectuées par le modèle lors des tests (PrécisionSensibilité, etSpot de F1) sont renvoyées dans lePerformance champ renvoyé par un appel àDescribeModel.

        "Performance": {
            "F1Score": 0.8,
            "Recall": 0.8,
            "Precision": 0.9
        },

LePerformance champ n'inclut pas les mesures de performance des étiquettes d'anomalies renvoyées par un modèle de segmentation. Vous pouvez les obtenirEvaluationResult sur le terrain. Pour plus d'informations, veuillez consulter Révision du résultat de l'évaluation.

Pour plus d'informations sur les statistiques de performance récapitulatives, consultezÉtape 1 : Évaluez les performances de votre modèle. Pour obtenir un exemple de code, veuillez consulter Affichage de vos modèles (SDK).

Utilisation du manifeste d'évaluation

Le manifeste d'évaluation fournit des mesures de prédiction de test pour les images individuelles utilisées pour tester un modèle. Pour chaque image de l'ensemble de données de test, une ligne JSON contient les informations de test d'origine (réalité du terrain) et la prédiction du modèle pour l'image. Amazon Lookout for Vision stocke le manifeste d'évaluation dans un compartiment Amazon S3. Vous pouvez obtenir l'emplacement à partir duEvaluationManifest champ dans la réponse àDescribeModel l'opération.

"EvaluationManifest": {
            "Bucket": "lookoutvision-us-east-1-nnnnnnnnnn",
            "Key": "my-sdk-project-model-output/EvaluationManifest-my-sdk-project-1.json"
        }

Le format du nom de fichier estEvaluationManifest-project name.json. Pour obtenir un exemple de code, veuillez consulter Visualisation de vos modèles.

Dans l'exemple de ligne JSON suivant,class-name c'est la vérité fondamentale du contenu de l'image. Dans cet exemple, l'image contient une anomalie. Leconfidence champ indique la confiance d'Amazon Lookout for Vision dans la prédiction. 


{
    "source-ref"*: "s3://customerbucket/path/to/image.jpg",
    "source-ref-metadata": {
        "creation-date": "2020-05-22T21:33:37.201882"
    },
   
    // Test dataset ground truth
    "anomaly-label": 1, 
    "anomaly-label-metadata": {
        "class-name": "anomaly",
        "type": "groundtruth/image-classification",
        "human-annotated": "yes",
        "creation-date": "2020-05-22T21:33:37.201882",
        "job-name": "labeling-job/anomaly-detection"
    },
    // Anomaly label detected by Lookout for Vision
    "anomaly-label-detected": 1,
    "anomaly-label-detected-metadata": {
        "class-name": "anomaly",
        "confidence": 0.9,
        "type": "groundtruth/image-classification",
        "human-annotated": "no",
        "creation-date": "2020-05-22T21:33:37.201882",
        "job-name": "training-job/anomaly-detection",
        "model-arn": "lookoutvision-some-model-arn",
        "project-name": "lookoutvision-some-project-name",
        "model-version": "lookoutvision-some-model-version"
    }
}

Révision du résultat de l'évaluation

Le résultat de l'évaluation comporte les mesures de performance agrégées suivantes (classification) pour l'ensemble des images de test :

Le résultat de l'évaluation inclut également le nombre d'images utilisées pour la formation et les tests du modèle.

Si le modèle est un modèle de segmentation, le résultat de l'évaluation inclut également les mesures suivantes pour chaque étiquette d'anomalie trouvée dans le jeu de données de test :

Amazon Lookout for Vision stocke le résultat de l'évaluation dans un compartiment Amazon S3. Vous pouvez obtenir l'emplacement en vérifiant la valeur deEvaluationResult dans la réponse deDescribeModel l'opération.

"EvaluationResult": {
            "Bucket": "lookoutvision-us-east-1-nnnnnnnnnn",
            "Key": "my-sdk-project-model-output/EvaluationResult-my-sdk-project-1.json"
        }

Le format du nom de fichier estEvaluationResult-project name.json. Pour voir un exemple, consultez Visualisation de vos modèles.

Le schéma suivant montre le résultat de l'évaluation.

    {
        "Version": 1,
        "EvaluationDetails":
        {
            "ModelArn": "string", // The Amazon Resource Name (ARN) of the model version.
            "EvaluationEndTimestamp": "string",   // The UTC date and time that evaluation finished.
            "NumberOfTrainingImages": int,        // The number of images that were successfully used for training.
            "NumberOfTestingImages": int          // The number of images that were successfully used for testing.
        },
        "AggregatedEvaluationResults":
        {
            "Metrics":
            {                       //Classification metrics.
                "ROCAUC": float,            // ROC area under the curve.
                "AveragePrecision": float,  // The average precision of the model.
                "Precision": float,         // The overall precision of the model.
                "Recall": float,            // The overall recall of the model.
                "F1Score": float,           // The overal F1 score for the model.
                
                "PixelAnomalyClassMetrics":     //Segmentation metrics.
                [
                    {
                        "Precision": float,       // The precision for the anomaly label.
                        "Recall": float,          // The recall for the anomaly label.
                        "F1Score": float,         // The F1 score for the anomaly label.
                        "AIOU" : float,           // The average Intersection Over Union for the anomaly label.
                        "ClassName": "string"   // The anomaly label.
                    }
                ]
            }
        }
    }