Anzeigen von Leistungsmetriken - Amazon Lookout für Vision
Anzeigen von Leistungsmetriken (Konsole)Anzeigen von Leistungsmetriken (SDK)

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Anzeigen von Leistungsmetriken

Sie können Leistungsmetriken von der Konsole und durch Aufrufen desDescribeModel Vorgangs abrufen.

Anzeigen von Leistungsmetriken (Konsole)

Nach Abschluss des Trainings zeigt die Konsole die Leistungskennzahlen an.

Die Amazon Lookout for Vision Vision-Konsole zeigt die folgenden Leistungskennzahlen für die während des Tests vorgenommenen Klassifizierungen:

Wenn es sich bei dem Modell um ein Segmentierungsmodell handelt, zeigt die Konsole auch die folgenden Leistungsmetriken für jedes Anomalie-Label an:

Der Abschnitt mit der Übersicht der Testergebnisse zeigt Ihnen die insgesamt richtigen und falschen Vorhersagen für Bilder im Testdatensatz. Sie können auch die prognostizierten und tatsächlichen Labelzuweisungen für einzelne Bilder im Testdatensatz sehen.

Das folgende Verfahren zeigt, wie Sie die Leistungsmetriken aus der Modelllistenansicht eines Projekts abrufen.

So können Sie sich die Leistungs-Metriken an (Konsole)

  1. Öffnen Sie die Amazon Lookout for Vision Vision-Konsole unter https://console.aws.amazon.com/lookoutvision/.

  2. Wählen Sie Get started (Erste Schritte) aus.

  3. Wählen Sie im Navigationsbereich die Option Projekte aus.

  4. Wählen Sie in der Projektansicht das Projekt aus, das die Version des Modells aus, das die anzeigen möchten.

  5. Wählen Sie im Navigationsbereich unter dem Projektnamen Modelle aus.

  6. Wählen Sie in der Modellliste die Versionen des Modells aus, die sie anzeigen möchten.

  7. Sehen Sie sich auf der Seite mit den Modelldetails die Leistungskennzahlen auf der Registerkarte Leistungskennzahlen an.

  8. Beachten Sie Folgendes:

    1. Der Abschnitt Modellleistungsmetriken enthält allgemeine Modellmetriken (Präzision, Recall, F1-Score) für die Klassifikationsvorhersagen, die das Modell für die Testbilder gemacht hat.

    2. Wenn es sich bei dem Modell um ein Bildsegmentierungsmodell handelt, enthält der Abschnitt Leistung pro Label die Anzahl der Testbilder, bei denen das Anomalie-Label gefunden wurde. Sie sehen auch Metriken (F1-Score, durchschnittlicher IOU) für jedes Anomalie-Label.

    3. Der Abschnitt mit der Übersicht der Testergebnisse enthält die Ergebnisse für jedes Testbild, das Lookout for Vision zur Bewertung des Modells verwendet. Diese umfasst das Folgende:

      • Die Gesamtzahl der richtigen (richtig positiv) und falschen (falsch negativ) Klassifizierungsprognosen (normal oder anomal) für alle Testbilder.

      • Die Klassifikationsvorhersage für jedes Testbild. Wenn unter einem Bild Korrigieren angezeigt wird, entspricht die prognostizierte Klassifizierung der tatsächlichen Klassifizierung für das Bild. Andernfalls hat das Modell das Bild nicht korrekt klassifiziert.

      • Bei einem Bildsegmentierungsmodell sehen Sie Anomaliebeschriftungen, die das Modell dem Bild zugewiesen hat, und Masken auf dem Bild, die den Farben der Anomaliebeschriftungen entsprechen.

Anzeigen von Leistungsmetriken (SDK)

Sie können den DescribeModelVorgang verwenden, um die zusammenfassenden Leistungskennzahlen (Klassifizierung) für das Modell, das Bewertungsmanifest und die Bewertungsergebnisse für ein Modell abzurufen.

Abrufen der zusammenfassenden Leistungskennzahlen

Die zusammenfassenden Leistungsmetriken für die Klassifizierungsprognosen, die das Modell während des Testens getroffen hat (GenauigkeitWiedererkennung, undFormel-1-Ergebnis), werden in demPerformance Feld zurückgegeben, das durch einen Aufruf von zurückgegeben wirdDescribeModel.

        "Performance": {
            "F1Score": 0.8,
            "Recall": 0.8,
            "Precision": 0.9
        },

DasPerformance Feld enthält nicht die von einem Segmentierungsmodell zurückgegebenen Leistungskennzahlen für Anomalielabel. Du kannst sie vomEvaluationResult Feld holen. Weitere Informationen finden Sie unter Überprüfung des Bewertungsergebnisses.

Hinweise zu zusammenfassenden Leistungskennzahlen finden Sie unterSchritt 1: Bewerten Sie die Leistung Ihres Modells. Beispielcode finden Sie unter Ihre Modelle anzeigen (SDK).

Verwenden des Bewertungsmanifests

Das Bewertungsmanifest enthält Testvorhersagemetriken für die einzelnen Bilder, die zum Testen eines Modells verwendet werden. Für jedes Bild im Testdatensatz enthält eine JSON-Zeile die ursprünglichen Testinformationen (Ground Truth) und die Vorhersage des Modells für das Bild. Amazon Lookout for Vision speichert das Bewertungsmanifest in einem Amazon-S3-Bucket. Sie können den Standort aus demEvaluationManifest Feld in der Antwort von derDescribeModel Operation abrufen.

"EvaluationManifest": {
            "Bucket": "lookoutvision-us-east-1-nnnnnnnnnn",
            "Key": "my-sdk-project-model-output/EvaluationManifest-my-sdk-project-1.json"
        }

Das Format des Dateinamens istEvaluationManifest-project name.json. Beispielcode finden Sie unter Deine Modelle ansehen.

In der folgenden JSON-Beispielzeileclass-name ist das die Grundwahrheit für den Inhalt des Bildes. In diesem Beispiel enthält das Bild eine Anomalie. Dasconfidence Feld zeigt das Vertrauen, das Amazon Lookout for Vision in die Prognose setzt. 


{
    "source-ref"*: "s3://customerbucket/path/to/image.jpg",
    "source-ref-metadata": {
        "creation-date": "2020-05-22T21:33:37.201882"
    },
   
    // Test dataset ground truth
    "anomaly-label": 1, 
    "anomaly-label-metadata": {
        "class-name": "anomaly",
        "type": "groundtruth/image-classification",
        "human-annotated": "yes",
        "creation-date": "2020-05-22T21:33:37.201882",
        "job-name": "labeling-job/anomaly-detection"
    },
    // Anomaly label detected by Lookout for Vision
    "anomaly-label-detected": 1,
    "anomaly-label-detected-metadata": {
        "class-name": "anomaly",
        "confidence": 0.9,
        "type": "groundtruth/image-classification",
        "human-annotated": "no",
        "creation-date": "2020-05-22T21:33:37.201882",
        "job-name": "training-job/anomaly-detection",
        "model-arn": "lookoutvision-some-model-arn",
        "project-name": "lookoutvision-some-project-name",
        "model-version": "lookoutvision-some-model-version"
    }
}

Überprüfung des Bewertungsergebnisses

Das Bewertungsergebnis enthält die folgenden aggregierten Leistungskennzahlen (Klassifizierung) für den gesamten Satz von Testbildern:

Das Bewertungsergebnis beinhaltet auch die Anzahl der Bilder, die für das Training und Testen des Modells verwendet wurden.

Wenn es sich bei dem Modell um ein Segmentierungsmodell handelt, enthält das Bewertungsergebnis auch die folgenden Metriken für jedes im Testdatensatz gefundene Anomalie-Label:

Amazon Lookout for Vision speichert das Bewertungsergebnis in einem Amazon-S3-Bucket. Sie können den Standort ermitteln, indem Sie den Wert vonEvaluationResult in der Antwort vomDescribeModel Vorgang überprüfen.

"EvaluationResult": {
            "Bucket": "lookoutvision-us-east-1-nnnnnnnnnn",
            "Key": "my-sdk-project-model-output/EvaluationResult-my-sdk-project-1.json"
        }

Das Format des Dateinamens istEvaluationResult-project name.json. Ein Beispiel finden Sie unter Deine Modelle ansehen.

Das folgende Schema zeigt das Evaluierungsergebnis.

    {
        "Version": 1,
        "EvaluationDetails":
        {
            "ModelArn": "string", // The Amazon Resource Name (ARN) of the model version.
            "EvaluationEndTimestamp": "string",   // The UTC date and time that evaluation finished.
            "NumberOfTrainingImages": int,        // The number of images that were successfully used for training.
            "NumberOfTestingImages": int          // The number of images that were successfully used for testing.
        },
        "AggregatedEvaluationResults":
        {
            "Metrics":
            {                       //Classification metrics.
                "ROCAUC": float,            // ROC area under the curve.
                "AveragePrecision": float,  // The average precision of the model.
                "Precision": float,         // The overall precision of the model.
                "Recall": float,            // The overall recall of the model.
                "F1Score": float,           // The overal F1 score for the model.
                
                "PixelAnomalyClassMetrics":     //Segmentation metrics.
                [
                    {
                        "Precision": float,       // The precision for the anomaly label.
                        "Recall": float,          // The recall for the anomaly label.
                        "F1Score": float,         // The F1 score for the anomaly label.
                        "AIOU" : float,           // The average Intersection Over Union for the anomaly label.
                        "ClassName": "string"   // The anomaly label.
                    }
                ]
            }
        }
    }