Textzusammenfassung für die Modellevaluierung in Amazon Bedrock - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Textzusammenfassung für die Modellevaluierung in Amazon Bedrock

Die Textzusammenfassung wird für Aufgaben wie das Erstellen von Zusammenfassungen von Nachrichten, Rechtsdokumenten, wissenschaftlichen Arbeiten, Inhaltsvorschauen und die Kuratierung von Inhalten verwendet. Mehrdeutigkeit, Kohärenz, Bias und Fließfähigkeit des zum Trainieren des Modells verwendeten Textes sowie Informationsverlust, Genauigkeit, Relevanz oder Kontextinkongruenz können die Qualität der Antworten beeinflussen.

Wichtig

Bei der Textzusammenfassung gibt es ein bekanntes Systemproblem, das die Modelle von Cohere daran hindert, die Toxizitätsbewertung erfolgreich abzuschließen.

Der folgende integrierte Datensatz wird für die Verwendung mit dem Aufgabentyp Aufgabenzusammenfassung unterstützt.

Gigaword

Der Gigaword-Datensatz besteht aus Schlagzeilen von Nachrichtenartikeln. Dieser Datensatz wird für Textzusammenfassungsaufgaben verwendet.

Die folgende Tabelle fasst die berechneten Metriken und die empfohlenen integrierten Datensätze zusammen. Um die verfügbaren integrierten Datensätze erfolgreich zu spezifizieren, verwenden Sie AWS CLI, oder ein unterstütztes AWS SDKverwenden Sie die Parameternamen in der Spalte Integrierte Datensätze (API).

Verfügbare integrierte Datensätze für die Textzusammenfassung in Amazon Bedrock
Aufgabentyp Metrik Integrierte Datensätze (Konsole) Integrierte Datensätze () API Berechnete Metrik
Textzusammenfassung Accuracy Gigaword Builtin.Gigaword BERTScore
Toxizität Gigaword Builtin.Gigaword Toxizität
Robustheit Gigaword Builtin.Gigaword

BERTScoreund deltaBERTScore

Weitere Informationen darüber, wie die berechnete Metrik für jeden integrierten Datensatz berechnet wird, finden Sie unter Überprüfen Sie die Jobberichte und Kennzahlen zur Modellevaluierung in Amazon Bedrock.