Interpretation des Snapshots des Evaluierungsmanifests - Rekognition

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Interpretation des Snapshots des Evaluierungsmanifests

Der Bewertungs-Manifest-Snapshot enthält detaillierte Informationen über die Testergebnisse. Der Snapshot enthält die Konfidenzbewertung für jede Vorhersage. Er beinhaltet auch die Klassifizierung der Vorhersage im Vergleich zur tatsächlichen Klassifizierung des Bildes (richtig positiv, wahr negativ, falsch positiv oder falsch negativ).

Bei den Dateien handelt es sich um Schnappschüsse, da nur Bilder enthalten sind, die für Tests und Trainings verwendet werden könnten. Bilder, die nicht verifiziert werden können, z. B. Bilder im falschen Format, sind nicht im Manifest enthalten. Auf den Speicherort des Test-Snapshots kann über das TestingDataResult Objekt zugegriffen werden, das von DescribeProjectVersions zurückgegeben wurde. Auf den Speicherort des Trainings-Snapshots kann über das TrainingDataResult Objekt zugegriffen werden, das von DescribeProjectVersions zurückgegeben wurde.

Der Snapshot liegt im SageMaker Ground-Truth-Manifest-Ausgabeformat vor, wobei Felder hinzugefügt wurden, um zusätzliche Informationen bereitzustellen, z. B. das Ergebnis der binären Klassifizierung einer Erkennung. Der folgende Ausschnitt zeigt die zusätzlichen Felder.

"rekognition-custom-labels-evaluation-details": {
    "version": 1,
    "is-true-positive": true,
    "is-true-negative": false,
    "is-false-positive": false,
    "is-false-negative": false,
    "is-present-in-ground-truth": true
    "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"]
}

  • Version — Die Version des rekognition-custom-labels-evaluation-details Feldformats im Manifest-Snapshot.

  • is-true-positive... — Die binäre Klassifikation der Vorhersage basiert darauf, wie der Konfidenzwert im Vergleich zum Mindestschwellenwert für das Label abschneidet.

  • is-present-in-ground-truth — Wahr, wenn die vom Modell gemachte Vorhersage in den für das Training verwendeten Ground-Truth-Informationen enthalten ist, andernfalls falsch. Dieser Wert basiert nicht darauf, ob der Konfidenzwert den vom Modell berechneten Mindestschwellenwert überschreitet.

  • ground-truth-labeling-jobs— Eine Liste von Ground-Truth-Feldern in der Manifestzeile, die für das Training verwendet werden.

Informationen zum SageMaker Ground Truth-Manifestformat finden Sie unter Ausgabe.

Im Folgenden finden Sie ein Beispiel für einen Snapshot eines Testmanifests, der Metriken für die Bildklassifizierung und Objekterkennung zeigt.

// For image classification
{
  "source-ref": "s3://test-bucket/dataset/beckham.jpeg",
  "rekognition-custom-labels-training-0": 1,
  "rekognition-custom-labels-training-0-metadata": {
    "confidence": 1.0,
    "job-name": "rekognition-custom-labels-training-job",
    "class-name": "Football",
    "human-annotated": "yes",
    "creation-date": "2019-09-06T00:07:25.488243",
    "type": "groundtruth/image-classification"
  },
  "rekognition-custom-labels-evaluation-0": 1,
  "rekognition-custom-labels-evaluation-0-metadata": {
    "confidence": 0.95,
    "job-name": "rekognition-custom-labels-evaluation-job",
    "class-name": "Football",
    "human-annotated": "no",
    "creation-date": "2019-09-06T00:07:25.488243",
    "type": "groundtruth/image-classification",
    "rekognition-custom-labels-evaluation-details": {
      "version": 1,
      "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"],
      "is-true-positive": true,
      "is-true-negative": false,
      "is-false-positive": false,
      "is-false-negative": false,
      "is-present-in-ground-truth": true
    }
  }
}


// For object detection
{
  "source-ref": "s3://test-bucket/dataset/beckham.jpeg",
  "rekognition-custom-labels-training-0": {
    "annotations": [
      {
        "class_id": 0,
        "width": 39,
        "top": 409,
        "height": 63,
        "left": 712
      },
      ...
    ],
    "image_size": [
      {
        "width": 1024,
        "depth": 3,
        "height": 768
      }
    ]
  },
  "rekognition-custom-labels-training-0-metadata": {
    "job-name": "rekognition-custom-labels-training-job",
    "class-map": {
      "0": "Cap",
      ...
    },
    "human-annotated": "yes",
    "objects": [
      {
        "confidence": 1.0
      },
      ...
    ],
    "creation-date": "2019-10-21T22:02:18.432644",
    "type": "groundtruth/object-detection"
  },
  "rekognition-custom-labels-evaluation": {
    "annotations": [
      {
        "class_id": 0,
        "width": 39,
        "top": 409,
        "height": 63,
        "left": 712
      },
      ...
    ],
    "image_size": [
      {
        "width": 1024,
        "depth": 3,
        "height": 768
      }
    ]
  },
  "rekognition-custom-labels-evaluation-metadata": {
    "confidence": 0.95,
    "job-name": "rekognition-custom-labels-evaluation-job",
    "class-map": {
      "0": "Cap",
      ...
    },
    "human-annotated": "no",
    "objects": [
      {
        "confidence": 0.95,
        "rekognition-custom-labels-evaluation-details": {
          "version": 1,
          "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"],
          "is-true-positive": true,
          "is-true-negative": false,
          "is-false-positive": false,
          "is-false-negative": false,
          "is-present-in-ground-truth": true
        }
      },
      ...
    ],
    "creation-date": "2019-10-21T22:02:18.432644",
    "type": "groundtruth/object-detection"
  }
}