Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Trainingsergebnis des Klassifikators

Nachdem Amazon Comprehend das Training des benutzerdefinierten Klassifikatormodells abgeschlossen hat, erstellt es Ausgabedateien am Amazon S3-Ausgabespeicherort, den Sie in der CreateDocumentClassifier API-Anfrage oder der entsprechenden Konsolenanforderung angegeben haben.

Amazon Comprehend erstellt eine Konfusionsmatrix, wenn Sie ein Klartextmodell oder ein systemeigenes Dokumentmodell trainieren. Es kann zusätzliche Ausgabedateien erstellen, wenn Sie ein natives Dokumentmodell trainieren.

Verwechslungsmatrix

Wenn Sie ein benutzerdefiniertes Klassifizierermodell trainieren, erstellt Amazon Comprehend eine Konfusionsmatrix, die Kennzahlen darüber liefert, wie gut das Modell beim Training abgeschnitten hat. Diese Matrix zeigt eine Matrix von Beschriftungen, die das Modell vorhergesagt hat, im Vergleich zu den tatsächlichen Dokumentbezeichnungen. Amazon Comprehend verwendet einen Teil der Trainingsdaten, um die Konfusionsmatrix zu erstellen.

Eine Konfusionsmatrix gibt Aufschluss darüber, welche Klassen mehr Daten verwenden könnten, um die Modellleistung zu verbessern. Eine Klasse mit einem hohen Anteil an korrekten Vorhersagen weist die höchste Anzahl von Ergebnissen entlang der Diagonale der Matrix auf. Wenn die Zahl auf der Diagonale eine niedrigere Zahl ist, weist die Klasse einen niedrigeren Anteil an korrekten Vorhersagen auf. Sie können weitere Trainingsbeispiele für diese Klasse hinzufügen und das Modell erneut trainieren. Wenn beispielsweise 40 Prozent der Stichproben von Bezeichnung A als Bezeichnung D klassifiziert werden, verbessert das Hinzufügen weiterer Stichproben für Etikett A und Etikett D die Leistung des Klassifikators.

Nachdem Amazon Comprehend das Klassifizierermodell erstellt hat, ist die Konfusionsmatrix in der confusion_matrix.json Datei am S3-Ausgabespeicherort verfügbar.

Das Format der Konfusionsmatrix variiert, je nachdem, ob Sie Ihren Klassifikator im Mehrklassenmodus oder im Multi-Label-Modus trainiert haben.

Konfusionsmatrix für den Mehrklassenmodus

Im Mehrklassenmodus schließen sich die einzelnen Klassen gegenseitig aus, sodass bei der Klassifizierung jedem Dokument eine Bezeichnung zugewiesen wird. Ein Tier kann beispielsweise ein Hund oder eine Katze sein, aber nicht beides gleichzeitig.

Stellen Sie sich das folgende Beispiel einer Konfusionsmatrix für einen trainierten Klassifikator mit mehreren Klassen vor:

  A B X Y <-(predicted label)
A 1 2 0 4
B 0 3 0 1
X 0 0 1 0
Y 1 1 1 1
^
|
(actual label)  

In diesem Fall sagte das Modell Folgendes voraus:

Die diagonale Linie in der Matrix (A:A B:B, X:X, und Y:Y) zeigt die genauen Vorhersagen. Bei den Prognosefehlern handelt es sich um die Werte außerhalb der Diagonale. In diesem Fall zeigt die Matrix die folgenden Prognosefehlerraten:

Der Klassifikator gibt die Konfusionsmatrix als Datei im JSON-Format zurück. Die folgende JSON-Datei stellt die Matrix für das vorherige Beispiel dar.

{
 "type": "multi_class",
 "confusion_matrix": [
 [1, 2, 0,4],
 [0, 3, 0, 1],
 [0, 0, 1, 0],
 [1, 1, 1, 1]],
 "labels": ["A", "B", "X", "Y"],
 "all_labels": ["A", "B", "X", "Y"]
}   

Konfusionsmatrix für den Modus mit mehreren Etiketten

Im Modus mit mehreren Bezeichnungen kann die Klassifizierung einem Dokument eine oder mehrere Klassen zuweisen. Betrachten Sie das folgende Beispiel einer Konfusionsmatrix für einen trainierten Klassifikator mit mehreren Klassen.

In diesem Beispiel gibt es drei mögliche Bezeichnungen: ComedyAction, und. Drama Die Konfusionsmatrix mit mehreren Bezeichnungen erstellt eine 2x2-Matrix für jedes Etikett.

Comedy                   Action                   Drama 
     No Yes                   No Yes                   No Yes   <-(predicted label)                                      
 No  2   1                No  1   1                No  3   0                                                         
Yes  0   2               Yes  2   1               Yes  1   1   
 ^                        ^                        ^
 |                        |                        |
 |-----------(was this label actually used)--------|
    

In diesem Fall gab das Modell Folgendes für das Comedy Etikett zurück:

Wie bei einer Konfusionsmatrix mit mehreren Klassen zeigt die diagonale Linie in jeder Matrix die genauen Vorhersagen.

In diesem Fall hat das Modell Comedy Labels in 80% der Fälle genau vorhergesagt (TP plus TN) und in 20% der Fälle falsch vorhergesagt (FP plus FN).

Der Klassifikator gibt die Konfusionsmatrix als Datei im JSON-Format zurück. Die folgende JSON-Datei stellt die Matrix für das vorherige Beispiel dar.

{
"type": "multi_label",
"confusion_matrix": [
 [[2, 1],        
 [0, 2]],
 [[1, 1],        
 [2, 1]],      
 [[3, 0],        
 [1, 1]]
], 
"labels": ["Comedy", "Action", "Drama"]
"all_labels": ["Comedy", "Action", "Drama"]
}   

Zusätzliche Ausgaben für native Dokumentmodelle

Amazon Comprehend kann zusätzliche Ausgabedateien erstellen, wenn Sie ein natives Dokumentmodell trainieren.

Amazon Textract-Ausgabe

Wenn Amazon Comprehend die Amazon Textract-APIs aufgerufen hat, um Text für eines der Schulungsdokumente zu extrahieren, speichert es die Amazon Textract-Ausgabedateien am S3-Ausgabespeicherort. Es verwendet die folgende Verzeichnisstruktur:

Amazon Comprehend füllt den Testordner auf, wenn Sie in der API-Anfrage Testdokumente bereitgestellt haben.

Fehler bei der Annotation von Dokumenten

Amazon Comprehend erstellt die folgenden Dateien im Amazon S3-Ausgabespeicherort (im Ordner skipped_documents/), falls Anmerkungen fehlschlagen:

Bei den fehlgeschlagenen Annotationsdateien handelt es sich um JSONL-Dateien mit dem folgenden Format:

{
     "File": "String", "Page": Number, "ErrorCode": "...", "ErrorMessage": "..."}
    {"File": "String", "Page": Number, "ErrorCode": "...", "ErrorMessage": "..."
  }