Benutzerdefinierte Metriken zur Erkennung von Entitäten - Amazon Comprehend
Verbessern der Leistung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Benutzerdefinierte Metriken zur Erkennung von Entitäten

Amazon Comprehend stellt Ihnen Kennzahlen zur Verfügung, anhand derer Sie abschätzen können, wie gut ein Entity Recognizer für Ihre Aufgabe funktionieren sollte. Sie basieren auf dem Training des Erkennungsmodells. Sie stellen also zwar die Leistung des Modells während des Trainings genau dar, stellen jedoch nur eine Annäherung an die API-Leistung bei der Entitätserkennung dar.

Metriken werden jedes Mal zurückgegeben, wenn Metadaten eines trainierten Entitätserkenners zurückgegeben werden.

Amazon Comprehend unterstützt das Trainieren eines Modells für bis zu 25 Entitäten gleichzeitig. Wenn Metriken von einem trainierten Entity-Recognizer zurückgegeben werden, werden die Ergebnisse sowohl für den Recognizer als Ganzes (globale Metriken) als auch für jede einzelne Entität (Entitätsmetriken) berechnet.

Drei Metriken sind verfügbar, sowohl als globale als auch als Entitätsmetriken:

  • Präzision

    Dies gibt den Anteil der vom System erstellten Entitäten an, die korrekt identifiziert und beschriftet wurden. Dies zeigt, wie oft die Entitätsidentifikation des Modells eine wirklich gute Identifikation ist. Dies ist ein Prozentsatz der Gesamtzahl der Identifizierungen.

    Mit anderen Worten, die Genauigkeit basiert auf wahren positiven (tp) und falsch positiven (fp) und wird als Genauigkeit = tp/(tp + fp) berechnet.

    Wenn ein Modell beispielsweise voraussagt, dass zwei Beispiele für eine Entität in einem Dokument vorhanden sind, obwohl es eigentlich nur eines gibt, ist das Ergebnis ein richtig positives und ein falsch positives. In diesem Fall ist Genauigkeit = 1/(1 + 1). Die Genauigkeit beträgt 50%, da eine der beiden durch das Modell identifizierten Entitäten korrekt ist.

  • Erinnern

    Dies gibt den Anteil der in den Dokumenten vorhandenen Entitäten an, die vom System korrekt identifiziert und gekennzeichnet wurden. Mathematisch wird dies als die Gesamtzahl der korrekten Identifizierungen definiert: wahre positive (tp) und verpasste Identifizierungen falsch negative (fn).

    Sie wird als Recall = tp/(tp + fn) berechnet. Wenn ein Modell beispielsweise eine Entität korrekt identifiziert, aber zwei andere Instanzen übersieht, in denen diese Entität vorhanden ist, ist das Ergebnis eine echte positive und zwei falsch negative. In diesem Fall ist recall = 1/(1 + 2). Der Rückruf liegt bei 33,33%, da eine von drei möglichen Beispielen richtig ist.

  • F1-Ergebnis

    Dies ist eine Kombination aus den Kennzahlen Precision und Recall, mit denen die Gesamtgenauigkeit des Modells für die benutzerdefinierte Entitätserkennung gemessen wird. Der F1-Score ist das harmonische Mittel der Messwerte Precision und Recall: F1 = 2 * Precision * Recall/(Precision + Recall).

    Anmerkung

    Intuitiv gesehen benachteiligt das harmonische Mittel die Extreme stärker als der einfache Durchschnitt oder andere Mittelwerte (Beispiel: precision = 0, recall = 1) könnten trivial erreicht werden, indem alle möglichen Spannen vorhergesagt werden. Hier wäre der einfache Durchschnitt 0,5, würde ihn aber mit 0 bestrafen). F1

    In den obigen Beispielen precision = 50% und = 33,33%, also recall F1 = 2 * 0,5 * 0,3333/(0,5 + 0,3333). Der F1-Score ist 0,3975 oder 39,75%.

Globale und individuelle Kennzahlen für Entitäten

Die Beziehung zwischen globalen und individuellen Entitätskennzahlen wird deutlich, wenn man den folgenden Satz für Entitäten analysiert, bei denen es sich entweder um einen Ort oder eine Person handelt

John Washington and his friend Smith live in San Francisco, work in San Diego, and own 
    a house in Seattle.

In unserem Beispiel macht das Modell die folgenden Vorhersagen.

John Washington = Person
Smith = Place
San Francisco = Place
San Diego = Place
Seattle = Person

Die Vorhersagen hätten jedoch die folgenden sein müssen.

John Washington = Person
Smith = Person  
San Francisco = Place
San Diego = Place
Seattle = Place

Die einzelnen Entitätskennzahlen hierfür wären:

entity:  Person
  True positive (TP) = 1 (because John Washington is correctly predicted to be a 
    Person).
  False positive (FP) = 1 (because Seattle is incorrectly predicted to be a Person, 
    but is actually a Place).
  False negative (FN) = 1 (because Smith is incorrectly predicted to be a Place, but 
    is actually a Person).
  Precision = 1 / (1 + 1) = 0.5 or 50%
  Recall = 1 / (1+1) = 0.5 or 50%
  F1 Score = 2 * 0.5 * 0.5 / (0.5 + 0.5) = 0.5 or 50%
  
entity:  Place
  TP = 2 (because San Francisco and San Diego are each correctly predicted to be a 
    Place).
  FP = 1 (because Smith is incorrectly predicted to be a Place, but is actually a 
    Person).
  FN = 1 (because Seattle is incorrectly predicted to be a Person, but is actually a 
    Place).
  Precision = 2 / (2+1) = 0.6667 or 66.67%
  Recall = 2 / (2+1) = 0.6667 or 66.67%
  F1 Score = 2 * 0.6667 * 0.6667 / (0.6667 + 0.6667) = 0.6667 or  66.67%

Die globalen Kennzahlen hierfür wären:

Weltweit:

Global:
  TP = 3 (because John Washington, San Francisco and San Diego are predicted correctly. 
    This is also the sum of all individual entity TP).
  FP = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This 
    is the sum of all individual entity FP).
  FN = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This 
    is the sum of all individual FN).
  Global Precision = 3 / (3+2) = 0.6 or 60%  
    (Global Precision = Global TP / (Global TP + Global FP))
  Global Recall = 3 / (3+2) = 0.6 or 60% 
    (Global Recall = Global TP / (Global TP + Global FN))
  Global F1Score = 2 * 0.6 * 0.6 / (0.6 + 0.6) = 0.6 or 60% 
    (Global F1Score = 2 * Global Precision *  Global Recall / (Global Precision + 
    Global Recall))

Verbesserung der Leistung des benutzerdefinierten Entity Recognizers

Diese Metriken geben Aufschluss darüber, wie genau das trainierte Modell funktioniert, wenn Sie es zur Identifizierung von Entitäten verwenden. Hier sind einige Optionen, mit denen Sie Ihre Metriken verbessern können, falls sie unter Ihren Erwartungen liegen:

  1. Je nachdem, ob Sie Anmerkungen oder verwendenEntitätslisten (nur Klartext), achten Sie darauf, die Richtlinien in der jeweiligen Dokumentation zu befolgen, um die Datenqualität zu verbessern. Wenn Sie nach der Verbesserung Ihrer Daten und dem erneuten Training des Modells bessere Messwerte beobachten, können Sie die Datenqualität weiter verbessern, um eine bessere Modellleistung zu erzielen.

  2. Wenn Sie eine Entitätsliste verwenden, sollten Sie stattdessen Anmerkungen verwenden. Manuelle Anmerkungen können Ihre Ergebnisse oft verbessern.

  3. Wenn Sie sicher sind, dass kein Datenqualitätsproblem vorliegt und die Messwerte dennoch unverhältnismäßig niedrig sind, reichen Sie bitte eine Support-Anfrage ein.