Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Benutzerdefinierte Klassifikator-Metriken
Amazon Comprehend bietet Metriken, anhand derer Sie abschätzen können, wie gut ein benutzerdefinierter Klassifikator abschneidet. Amazon Comprehend berechnet die Metriken anhand der Testdaten aus dem Training für den Klassifizierer. Die Metriken stellen die Leistung des Modells während des Trainings genau dar, sodass sie sich der Modellleistung für die Klassifizierung ähnlicher Daten nähern.
Verwenden Sie API-Operationen DescribeDocumentClassifier, um beispielsweise die Metriken für einen benutzerdefinierten Klassifikator abzurufen.
Anmerkung
Weitere Informationen zu den zugrunde liegenden Metriken Precision, Recall und FScore
Kennzahlen
Amazon Comprehend unterstützt die folgenden Metriken:
Um die Metriken für einen Klassifikator anzuzeigen, öffnen Sie die Seite mit den Klassifikator-Details in der Konsole.
Accuracy
Die Genauigkeit gibt den Prozentsatz der Beschriftungen aus den Testdaten an, die das Modell genau vorhergesagt hat. Um die Genauigkeit zu berechnen, dividieren Sie die Anzahl der genau vorhergesagten Beschriftungen in den Testdokumenten durch die Gesamtzahl der Beschriftungen in den Testdokumenten.
Beispiel
| Tatsächliches Etikett | Vorhergesagtes Label | Accurate/Incorrect |
|---|---|---|
|
1 |
1 |
Genau |
|
0 |
1 |
Falsch |
|
2 |
3 |
Falsch |
|
3 |
3 |
Genau |
|
2 |
2 |
Genau |
|
1 |
1 |
Genau |
|
3 |
3 |
Genau |
Die Genauigkeit besteht aus der Anzahl der genauen Vorhersagen geteilt durch die Gesamtzahl der Teststichproben = 5/7 = 0,714 oder 71,4%
Präzision (Makro-Präzision)
Präzision ist ein Maß für die Nützlichkeit der Klassifikatorergebnisse in den Testdaten. Sie ist definiert als die Anzahl der korrekt klassifizierten Dokumente geteilt durch die Gesamtzahl der Klassifizierungen für die Klasse. Hohe Präzision bedeutet, dass der Klassifikator deutlich relevantere Ergebnisse als irrelevante Ergebnisse geliefert hat.
Die Precision Metrik wird auch als Macro Precision bezeichnet.
Das folgende Beispiel zeigt Präzisionsergebnisse für einen Testsatz.
| Label (Bezeichnung) | Umfang der Stichprobe | Präzision des Etiketts |
|---|---|---|
|
Label_1 |
400 |
0.75 |
|
Bezeichnung_2 |
300 |
0,80 |
|
Label_3 |
30000 |
0.90 |
|
Label_4 |
20 |
0.50 |
|
Label_5 |
10 |
0,40 |
Die Precision (Macro Precision) -Metrik für das Modell lautet daher:
Macro Precision = (0.75 + 0.80 + 0.90 + 0.50 + 0.40)/5 = 0.67Rückruf (Makro-Rückruf)
Dies gibt den Prozentsatz der richtigen Kategorien in Ihrem Text an, den das Modell vorhersagen kann. Diese Kennzahl ergibt sich aus der Durchschnittsberechnung der Erinnerungswerte aller verfügbaren Labels. Der Rückruf ist ein Maß dafür, wie vollständig die Klassifizierungsergebnisse für die Testdaten sind.
Ein hoher Erinnerungswert bedeutet, dass der Klassifikator die meisten relevanten Ergebnisse zurückgegeben hat.
Die Recall Metrik wird auch als Macro Recall bezeichnet.
Das folgende Beispiel zeigt die Abrufergebnisse für einen Testsatz.
| Label (Bezeichnung) | Umfang der Stichprobe | Etikett: Rückruf |
|---|---|---|
|
Label_1 |
400 |
0,70 |
|
Bezeichnung_2 |
300 |
0,70 |
|
Label_3 |
30000 |
0,98 |
|
Label_4 |
20 |
0,80 |
|
Label_5 |
10 |
0.10 |
Die Metrik Recall (Macro Recall) für das Modell lautet daher:
Macro Recall = (0.70 + 0.70 + 0.98 + 0.80 + 0.10)/5 = 0.656F1-Ergebnis (Makro-F1-Ergebnis)
Der F1-Score wird aus den Recall Werten Precision und abgeleitet. Es misst die Gesamtgenauigkeit des Klassifikators. Die höchste Punktzahl ist 1 und die niedrigste Punktzahl ist 0.
Amazon Comprehend berechnet den Macro F1-Score. Dies ist der ungewichtete Durchschnitt der Label-F1-Ergebnisse. Am Beispiel des folgenden Testsatzes:
| Label (Bezeichnung) | Größe der Stichprobe | Etikett F1-Punktzahl |
|---|---|---|
|
Label_1 |
400 |
0,724 |
|
Bezeichnung_2 |
300 |
0,824 |
|
Label_3 |
30000 |
0,94 |
|
Label_4 |
20 |
0,62 |
|
Label_5 |
10 |
0,16 |
Der F1-Score (Macro F1-Score) für das Modell wird wie folgt berechnet:
Macro F1 Score = (0.724 + 0.824 + 0.94 + 0.62 + 0.16)/5 = 0.6536Verlust durch Hamming
Der Anteil der Bezeichnungen, die falsch vorhergesagt wurden. Wird auch als Anteil falscher Beschriftungen im Vergleich zur Gesamtzahl der Beschriftungen angesehen. Werte, die näher an Null liegen, sind besser.
Mikro-Präzision
Original:
Ähnlich wie bei der Präzisionsmetrik, mit der Ausnahme, dass die Mikropräzision auf der Summe aller Genauigkeitswerte basiert.
Mikro-Rückruf
Ähnlich der Recall-Metrik, mit der Ausnahme, dass Micro-Recall auf der Gesamtpunktzahl aller Erinnerungswerte zusammengerechnet wird.
Mikro-F1-Punktzahl
Der Micro F1-Score ist eine Kombination aus den Metriken Micro Precision und Micro Recall.
Verbessern Sie die Leistung Ihres benutzerdefinierten Klassifikators
Die Metriken geben Aufschluss darüber, wie Ihr benutzerdefinierter Klassifikator während einer Klassifizierungsaufgabe abschneidet. Wenn die Metriken niedrig sind, ist das Klassifizierungsmodell für Ihren Anwendungsfall möglicherweise nicht effektiv. Sie haben mehrere Möglichkeiten, die Leistung Ihres Klassifikators zu verbessern:
-
Geben Sie in Ihren Trainingsdaten konkrete Beispiele an, die eine klare Trennung der Kategorien definieren. Stellen Sie beispielsweise Dokumente zur Verfügung, in denen die Kategorie „unique words/sentences “ dargestellt wird.
-
Füge weitere Daten für unterrepräsentierte Bezeichnungen in deinen Trainingsdaten hinzu.
-
Versuche, die Verzerrung in den Kategorien zu reduzieren. Wenn das größte Etikett in Ihren Daten mehr als das Zehnfache der Dokumente im kleinsten Etikett enthält, versuchen Sie, die Anzahl der Dokumente für das kleinste Etikett zu erhöhen. Achten Sie darauf, das Versatzverhältnis zwischen den am stärksten vertretenen und den am wenigsten vertretenen Klassen auf höchstens 10:1 zu reduzieren. Sie können auch versuchen, Eingabedokumente aus den stark vertretenen Klassen zu entfernen.
