Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Evaluierung und Verbesserung Ihrer Adapter
Nachdem Sie den Trainingsprozess abgeschlossen und Ihren Adapter erstellt haben, müssen Sie unbedingt überprüfen, wie gut der Adapter Informationen aus Ihren Dokumenten extrahiert.
Leistungsmetriken
In der Amazon Textract Textract-Konsole stehen drei Messwerte zur Verfügung, die Sie bei der Analyse der Leistung Ihres Adapters unterstützen:
-
Präzision — Mit der Genauigkeit wird der Prozentsatz der extrahierten Informationen (Vorhersagen) gemessen, die korrekt sind. Je höher die Genauigkeitsbewertung, desto weniger Fehlalarme gibt es.
-
Recall — Mit Recall wird der Prozentsatz aller relevanten Elemente gemessen, die vom Modell erfolgreich identifiziert und extrahiert wurden. Je höher der Erinnerungswert, desto weniger falsch negative Ergebnisse gibt es.
-
F1-Score — Der F1-Score kombiniert Präzision und Erinnerungsvermögen in einer einzigen Metrik und bietet so ein ausgewogenes Maß für die Gesamtgenauigkeit der Extraktion.
Die Werte für diese Messungen reichen von 0 bis 1, wobei 1 für eine perfekte Extraktion steht.
Diese Metriken werden berechnet, indem die Extraktionen des Adapters mit den „Grundwahrheits“-Annotationen auf dem Testdatensatz verglichen werden. Durch die Analyse von F1, Präzision und Rückruf können Sie feststellen, wo der Adapter verbessert werden muss.
Eine geringe Genauigkeit bedeutet beispielsweise, dass viele Vorhersagen des Modells falsch positiv sind, weshalb der Adapter irrelevante Daten extrahiert. Im Gegensatz dazu bedeutet ein niedriger Erinnerungswert, dass dem Modell relevante Daten fehlen. Mithilfe dieser Erkenntnisse können Sie die Trainingsdaten verfeinern und den Adapter neu trainieren, um die Leistung zu steigern.
Sie können die Leistung Ihres Modells auch überprüfen, indem Sie es mit neuen Dokumenten und Abfragen testen, die Sie angeben. Verwenden Sie die Option Try Adapter in der Konsole, um Vorhersagen für diese Dokumente zu erhalten. Auf diese Weise können Sie den Adapter anhand Ihrer eigenen Testabfragen und Dokumente testen und anhand von Beispielen aus der Praxis sehen, wie der Adapter funktioniert.
Sie können auch Metriken für eine Adapterversion abrufen, indem Sie den GetAdapterVersionVorgang mithilfe eines SDK oder der CLI verwenden. Rufen Sie mithilfe der ListAdapterVersionsAPI-Operation eine Liste der Adapter ab, für die Sie Metriken abrufen möchten. Löschen Sie einen Adapter, den Sie für den DeleteAdapterVersionVorgang nicht mehr benötigen.
Verbessern Ihres Modells
Die Adapterbereitstellung ist ein iterativer Prozess, da Sie wahrscheinlich mehrere Schulungen durchführen müssen, um die angestrebte Genauigkeit zu erreichen. Nachdem Sie Ihren Adapter erstellt und trainiert haben, sollten Sie die Leistung Ihres Adapters anhand verschiedener Metriken und Abfragen testen und bewerten.
Wenn die Genauigkeit Ihres Adapters in irgendeinem Bereich unzureichend ist, fügen Sie neue Beispiele für diese Dokumente hinzu, um die Leistung des Adapters für diese Abfragen zu erhöhen. Versuchen Sie, dem Adapter zusätzliche, vielfältige Beispiele zur Verfügung zu stellen, die die Fälle widerspiegeln, in denen er Probleme hat. Wenn Sie Ihrem Adapter repräsentative, vielfältige Dokumente zur Verfügung stellen, kann er verschiedene Beispiele aus der Praxis verarbeiten.
Nachdem Sie Ihrem Trainingsset neue Dokumente hinzugefügt haben, trainieren Sie den Adapter erneut. Führen Sie anschließend eine Neubewertung Ihres Testsets und Ihrer Abfragen durch. Wiederholen Sie diese Operation, bis der Adapter das gewünschte Leistungsniveau erreicht hat. Präzision, Erinnerungsvermögen und F1-Werte sollten sich im Laufe aufeinanderfolgender Trainingsiterationen schrittweise verbessern.
