Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Semantische Robustheit
Evaluiert, wie stark sich Ihre Modellausgabe als Ergebnis kleiner, semantisch erhaltender Änderungen in der Eingabe ändert. Mit Foundation Model Evaluations (FMEval) wird gemessen, wie sich Ihre Modellausgabe aufgrund von Tippfehlern auf der Tastatur, zufälligen Änderungen an Großbuchstaben und zufälligem Hinzufügen oder Löschen von Leerräumen ändert.
Amazon SageMaker unterstützt die Durchführung einer semantischen Robustheitsevaluierung von Amazon SageMaker Studio aus oder mithilfe der Bibliothek. fmeval
-
Evaluierungen in Studio ausführen: In Studio erstellte Evaluierungsaufträge verwenden vorgewählte Standardwerte, um die Modellleistung schnell zu bewerten. Semantische Robustheitsbewertungen für die Generierung mit offenem Ende können in Studio nicht erstellt werden. Sie müssen mithilfe der Bibliothek erstellt werden.
fmeval -
Evaluierungen mithilfe der
fmevalBibliothek ausführen: Evaluierungsjobs, die mit derfmevalBibliothek erstellt wurden, bieten erweiterte Optionen zur Konfiguration der Modellleistungsbewertung.
Unterstützter Aufgabentyp
Die Bewertung der semantischen Robustheit wird für die folgenden Aufgabentypen mit den zugehörigen integrierten Datensätzen unterstützt. Benutzer können auch ihren eigenen Datensatz mitbringen. Standardmäßig werden 100 zufällige Datenpunkte aus dem Datensatz zur Toxizitätsbewertung SageMaker entnommen. Bei Verwendung der fmeval Bibliothek kann dies angepasst werden, indem der num_records Parameter an die Methode übergeben wird. evaluate Hinweise zur Anpassung der Bewertung von Faktenwissen mithilfe der fmeval Bibliothek finden Sie unter. Passen Sie Ihren Arbeitsablauf mithilfe der fmeval Bibliothek an
| Aufgabentyp | Integrierte Datensätze | Hinweise |
|---|---|---|
| Textzusammenfassung | ||
| Beantwortung von Fragen | ||
| Klassifizierung | ||
| Generation mit offenem Ende |
T- REx BOLDhttps://github.com/amazon-science/bold |
Arten von Störungen
Bei der Bewertung der semantischen Robustheit wird eine der folgenden drei Störungen berücksichtigt. Sie können den Störungstyp bei der Konfiguration des Bewertungsjobs auswählen. Alle drei Störungen wurden von NL-Augmenter übernommen.
Beispiel für eine A quick brown fox jumps over the lazy dog Modelleingabe:.
-
Butter Fingers
: Tippfehler wurden durch das Drücken einer benachbarten Tastaturtaste verursacht. W quick brmwn fox jumps over the lazy dig -
Zufällige Großschreibung
: Zufällig ausgewählte Buchstaben werden in Großbuchstaben umgewandelt. A qUick brOwn fox jumps over the lazY dog -
Leerzeichen hinzufügen Entfernen
: Zufälliges Hinzufügen und Entfernen von Leerzeichen aus der Eingabe. A q uick bro wn fox ju mps overthe lazy dog
Berechnete Werte
Bei dieser Bewertung wird die Leistungsänderung zwischen der Modellausgabe, die auf der ursprünglichen, ungestörten Eingabe basiert, und der Modellausgabe, die auf einer Reihe von gestörten Versionen der Eingabe basiert, gemessen. Hinweise zur für die Bewertung erforderlichen Eingabeaufforderungsstruktur finden Sie unter. Erstellen Sie einen automatischen Modellevaluierungsjob in Studio
Die Leistungsänderung ist die durchschnittliche Differenz zwischen der Punktzahl der ursprünglichen Eingabe und den Werten der gestörten Eingaben. Die zur Bewertung dieser Leistungsänderung gemessenen Werte hängen vom Aufgabentyp ab:
Zusammenfassung
Bei Zusammenfassungsaufgaben misst die semantische Robustheit die folgenden Werte, wenn die gestörte Eingabe verwendet wird, sowie das Delta für jede Punktzahl. Der Delta-Score stellt die durchschnittliche absolute Differenz zwischen der Punktzahl der ursprünglichen Eingabe und den Werten der gestörten Eingabe dar.
-
ROUGEDelta-Score: Der durchschnittliche absolute Unterschied in der ROUGE Punktzahl für ursprüngliche und gestörte Eingaben. Die ROUGE Punktzahlen werden auf die gleiche Weise berechnet wie die ROUGE Punktzahl in. Zusammenfassung
-
METEORDelta-Score: Der durchschnittliche absolute Unterschied in der METEOR Punktzahl für ursprüngliche und gestörte Eingaben. Die METEOR Punktzahlen werden auf die gleiche Weise berechnet wie die METEOR Punktzahl in. Zusammenfassung
-
DeltaBERTScore: Die durchschnittliche absolute Differenz zwischen ursprünglichen und BERTScore gestörten Eingaben. Sie BERTScores werden auf die gleiche Weise berechnet wie der Eingang. BERTScore Zusammenfassung
Beantwortung von Fragen
Bei Aufgaben zur Beantwortung von Fragen misst die semantische Robustheit die folgenden Werte, wenn die gestörte Eingabe verwendet wird, sowie das Delta für jede Punktzahl. Der Delta-Score stellt die durchschnittliche absolute Differenz zwischen der Punktzahl der ursprünglichen Eingabe und den Werten der gestörten Eingabe dar.
-
Delta-F1-Over-Words-Punktzahl: Die durchschnittliche absolute Differenz der F1-Over-Words-Werte für Originaleingaben und gestörte Eingaben. Der F1-Wert für „Über-Wörter“ wird auf die gleiche Weise berechnet wie der F1-Wert für „Über-Wörter“ in. Beantwortung von Fragen
-
Delta-Punktzahl für exakte Übereinstimmung: Die durchschnittliche absolute Differenz der Punktzahlen für „Exact Match“ bei Originaleingaben und gestörten Eingaben. Die Exact Match Scores werden auf die gleiche Weise berechnet wie die Exact Match Score in. Beantwortung von Fragen
-
Delta Quasi Exact Match Score: Die durchschnittliche absolute Differenz der Quasi Exact Match-Werte für ursprüngliche und gestörte Eingaben. Die Ergebnisse für „Quasi Exact Match“ werden auf die gleiche Weise berechnet wie die Punktzahl für „Quasi Exact Match“ in Beantwortung von Fragen
-
Punktezahl „Präzision im Vergleich zu Wörtern“: Der durchschnittliche absolute Unterschied zwischen den Punktzahlen für „Präzision vor Wörtern“ bei Originaleingaben und gestörten Eingaben. Die Punktzahlen für „Präzision vor Wörtern“ werden auf die gleiche Weise berechnet wie die Punktezahl „Genauigkeit bei Wörtern“ in. Beantwortung von Fragen
-
Punktezahl „Delta-Recall Over Words“: Der durchschnittliche absolute Unterschied zwischen den Werten für „Rückruf über Wörter“ bei Originaleingaben und bei gestörten Eingaben. Die Werte für „Rückruf über Wörter“ werden auf die gleiche Weise berechnet wie die Werte für „Rückruf über Wörter“ in. Beantwortung von Fragen
Klassifizierung
Bei Klassifizierungsaufgaben misst die semantische Robustheit die Genauigkeit bei der Verwendung der gestörten Eingabe sowie das Delta für jede Punktzahl. Der Delta-Score stellt die durchschnittliche absolute Differenz zwischen der Punktzahl der ursprünglichen Eingabe und den Werten der gestörten Eingabe dar.
-
Delta-Genauigkeitswert: Der durchschnittliche absolute Unterschied zwischen den Genauigkeitswerten für ursprüngliche und gestörte Eingaben. Die Genauigkeitswerte werden auf die gleiche Weise berechnet wie die Genauigkeitsbewertung in. Klassifizierung
Generierung mit offenem Ende
Semantische Robustheitsbewertungen für die Generierung mit offenem Ende können in Studio nicht erstellt werden. Sie müssen mithilfe der Bibliothek mit erstellt werden. fmeval GeneralSemanticRobustness
-
Wortfehlerrate
(WER): Misst den syntaktischen Unterschied zwischen den beiden Generationen, indem der Prozentsatz der Wörter berechnet wird, die geändert werden müssen, um die erste Generation in die zweite Generation umzuwandeln. Weitere Informationen zur Berechnung von WER finden Sie im HuggingFace Artikel zur Wortfehlerrate . -
Beispielsweise:
-
Eingabe 1: „Das ist eine Katze“
-
Eingabe 2: „Das ist ein Hund“
-
Anzahl der Wörter, die geändert werden müssen: 1/4 oder 25%
-
WER: 0,25
-
-
-
BERTScoreUnähnlichkeit (BSD): Misst die semantischen Unterschiede zwischen den beiden Generationen, indem 1 von 1 subtrahiert wird. BERTScore BSDkann für zusätzliche sprachliche Flexibilität sorgen, die nicht berücksichtigt wird, WER weil semantisch ähnliche Sätze näher beieinander eingebettet werden können.
-
Wenn beispielsweise Generation 2 und Generation 3 einzeln mit Generation 1 verglichen werden, WER ist der Wert zwar identisch, aber der BSD Wert unterscheidet sich je nach semantischer Bedeutung.
-
gen1 (ursprüngliche Eingabe):
"It is pouring down today" -
gen2 (gestörter Eingang 1):
"It is my birthday today" -
gen3 (gestörter Eingang 2):
"It is very rainy today" -
WER(gen1, gen2)=WER(gen2, gen3)=0.4 -
BERTScore(gen1, gen2)=0.67 -
BERTScore(gen1, gen3)=0.92 -
BSD(gen1, gen2)= 1-BERTScore(gen1, gen2)=0.33 -
BSD(gen2 ,gen3)= 1-BERTScore(gen2, gen3)=0.08
-
-
Die folgenden Optionen werden als Teil des Parameters unterstützt: GeneralSemanticRobustnessConfig
-
model_type_for_bertscore: Name des Modells, das für die Bewertung verwendet werden soll. BERTScoreUnsimilarity unterstützt derzeit nur die folgenden Modelle:-
"
microsoft/deberta-xlarge-mnli" (Standard)
-
-
-
Nichtdeterministische Modelle
Wenn die Strategie zur Modellgenerierung nicht deterministisch ist, z. B. LLMs bei Temperaturen ungleich Null, kann sich die Ausgabe ändern, auch wenn die Eingabe identisch ist. In diesen Fällen könnte die Angabe von Unterschieden zwischen der Modellausgabe für die ursprünglichen und die gestörten Eingaben eine künstlich geringe Robustheit aufweisen. Um der nichtdeterministischen Strategie Rechnung zu tragen, normalisiert die Bewertung der semantischen Robustheit den Unähnlichkeitswert, indem die durchschnittliche Unähnlichkeit zwischen Modellausgaben, die auf derselben Eingabe basieren, subtrahiert wird.
max(0,d−dbase)
-
d: der Unähnlichkeitswert (Wortfehlerrate oder Unähnlichkeit) zwischen den beiden Generationen. BERTScore -
dbase: Unähnlichkeit zwischen der Modellausgabe auf derselben Eingabe.
