Verwendung von Prompt-Datensätzen und verfügbaren Bewertungsdimensionen in Modellevaluierungsjobs

Faktenwissen — Evaluiert, wie gut Ihr Modell Faktenwissen kodiert. FMEvalkann Ihr Modell anhand Ihres eigenen benutzerdefinierten Datensatzes messen oder einen integrierten Datensatz verwenden, der auf dem basiert TREXOpen-Source-Datensatz.

Semantische Robustheit — Evaluiert, wie stark sich Ihre Modellausgabe als Ergebnis kleiner, semantisch erhaltender Änderungen in der Eingabe ändert. FMEvalmisst, wie sich Ihre Modellausgabe aufgrund von Tippfehlern auf der Tastatur, zufälligen Änderungen an Großbuchstaben und zufälligem Hinzufügen oder Löschen von Leerräumen ändert.

Prompte Stereotypisierung — Misst die Wahrscheinlichkeit, dass Ihr Modell in seiner Antwort Verzerrungen kodiert. Zu diesen Vorurteilen gehören Vorurteile in Bezug auf Rasse, Geschlecht, sexuelle Orientierung, Religion, Alter, Nationalität, Behinderung, körperliches Erscheinungsbild und sozioökonomischen Status. FMEvalkann Ihre Modellantworten anhand Ihres eigenen benutzerdefinierten Datensatzes messen oder einen integrierten Datensatz verwenden, der auf CrowS-PairsOpen-Source-Challenge-Datensatz.

Toxizität — Wertet Text anhand von Modellen zur Toxizitätserkennung aus. FMEvalüberprüft Ihr Modell auf sexuelle Hinweise, unhöfliche, unangemessene, hasserfüllte oder aggressive Kommentare, Obszönitäten, Beleidigungen, Flirts, Angriffe auf Identitäten und Bedrohungen. FMEvalkann Ihr Modell anhand Ihres eigenen benutzerdefinierten Datensatzes messen oder integrierte Datensätze verwenden, die auf RealToxicityPrompts, RealToxicityPromptsChallenging, und BOLDDatensätze.

RealToxicityPromptsChallenging ist eine Teilmenge von RealToxicityPrompts das wird verwendet, um die Grenzen eines großen Sprachmodells zu testen (LLM). Es identifiziert auch Bereiche, in LLMs denen die Gefahr besteht, dass giftige Texte generiert werden.

Sie können Ihr Modell mit den folgenden Toxizitätsdetektoren bewerten:

Genauigkeit — Ein numerischer Wert, der die Ähnlichkeit der Zusammenfassung mit einer Referenzzusammenfassung angibt, die als Goldstandard anerkannt ist. Ein hoher numerischer Wert weist darauf hin, dass die Zusammenfassung von hoher Qualität ist. Ein niedriger numerischer Wert weist auf eine schlechte Zusammenfassung hin. Die folgenden Kennzahlen werden verwendet, um die Genauigkeit einer Zusammenfassung zu bewerten:

Toxizität — Werte für generierte Zusammenfassungen, die mit einem Toxizitätsdetektormodell berechnet wurden. Weitere Informationen finden Sie im vorherigen Abschnitt zur Generierung von Aufgaben mit offenem Ende im Abschnitt Toxizität.

Semantische Robustheit — Ein Maß dafür, wie stark sich die Qualität der Textzusammenfassung Ihres Modells aufgrund kleiner, semantischer Änderungen in der Eingabe ändert. Beispiele für diese Änderungen sind Tippfehler, zufällige Änderungen an Großbuchstaben und zufälliges Hinzufügen oder Löschen von Leerräumen. Semantische Robustheit basiert auf dem absoluten Genauigkeitsunterschied zwischen einer ungestörten und einer ungestörten Textzusammenfassung. Der Genauigkeitsalgorithmus verwendet die ROUGE-N, Meteor, und BERTScoreMetriken, wie zuvor in diesem Abschnitt beschrieben.

Genauigkeit — Ein Durchschnittswert, bei dem die generierte Antwort mit den in den Referenzen angegebenen Frage-Antwort-Paaren verglichen wird. Die Punktzahl wird anhand der folgenden Methoden gemittelt:

Semantische Robustheit — Ein Maß dafür, wie stark sich die Qualität der Textzusammenfassung Ihres Modells aufgrund kleiner, semantischer Änderungen in der Eingabe ändert. Zu diesen Änderungen gehören beispielsweise Tippfehler auf der Tastatur, die ungenaue Umwandlung von Zahlen in Wörter, zufällige Änderungen an Großbuchstaben und zufälliges Hinzufügen oder Löschen von Leerräumen. Bei der semantischen Robustheit wird der absolute Unterschied in der Genauigkeit zwischen einer ungestörten und einer ungestörten Textzusammenfassung berücksichtigt. Die Genauigkeit wird, wie bereits beschrieben, anhand von Exact-Match, Quasi-Exact Match und F1 im Vergleich zu Wörtern gemessen.

Toxizität — Die Ergebnisse bewerten die generierten Antworten mithilfe eines Toxizitätsdetektormodells. Weitere Informationen finden Sie im vorherigen Abschnitt zur Generierung von Aufgaben mit offenem Ende im Abschnitt Toxizität.

Genauigkeit — Ein Wert, der die vorhergesagte Klasse mit ihrer Bezeichnung vergleicht. Die Genauigkeit wird anhand der folgenden Metriken gemessen:

Semantische Robustheit — Evaluiert, wie stark sich Ihre Modellausgabe aufgrund kleiner, semantischer Änderungen in der Eingabe ändert. FMEvalmisst Ihre Modellausgabe als Ergebnis von Tippfehlern auf der Tastatur, zufälligen Änderungen der Großschreibung und zufälligen Hinzufügungen oder Löschungen von Leerräumen. Semantische Robustheit bewertet den absoluten Unterschied in der Genauigkeit zwischen einer ungestörten und einer ungestörten Textzusammenfassung.

(Vergleichende) Likert-Skala — Vergleich — Ein menschlicher Prüfer gibt auf einer 5-Punkte-Likert-Skala gemäß Ihren Anweisungen seine Präferenz zwischen zwei Antworten an. Im Abschlussbericht werden die Ergebnisse als Histogramm mit Bewertungen nach Präferenzstärke im Vergleich zum gesamten Datensatz angezeigt. Definieren Sie in Ihren Anweisungen die wichtigen Punkte der 5-Punkte-Skala, damit Ihre Gutachter wissen, wie sie die Antworten entsprechend Ihren Erwartungen bewerten können.

Auswahlschaltflächen (zum Vergleich) — Ermöglicht es einem menschlichen Prüfer, anhand von Optionsfeldern gemäß Ihren Anweisungen eine bevorzugte Antwort einer anderen Antwort vorzuziehen. Die Ergebnisse im Abschlussbericht werden als Prozentsatz der Antworten ausgewiesen, die die Mitarbeiter für jedes Modell bevorzugt haben. Erläutern Sie Ihre Bewertungsmethode in der Anleitung klar und deutlich.

(Vergleichende) Ordinalrangfolge — Ermöglicht es einem menschlichen Prüfer, seine bevorzugten Antworten auf eine Aufforderung in der Reihenfolge, beginnend bei 1, und gemäß Ihren Anweisungen einzuordnen. Im Abschlussbericht werden die Ergebnisse als Histogramm der Ranglisten der Gutachter im gesamten Datensatz angezeigt. Stellen Sie sicher, dass Sie in Ihren Anweisungen definieren, was ein Rang von 1 bedeutet.

(Individuell) Daumen hoch/runter — Ermöglicht es einem menschlichen Prüfer, jede Antwort eines Modells gemäß Ihren Anweisungen als akzeptabel oder inakzeptabel zu bewerten. Im Abschlussbericht zeigen die Ergebnisse einen prozentualen Anteil an der Gesamtzahl der Bewertungen von Bewertern, die für jedes Modell eine positive Bewertung erhalten haben. Sie können diese Bewertungsmethode verwenden, um ein oder mehrere Modelle zu bewerten. Wenn Sie diese Methode in einer Bewertung verwenden, die zwei Modelle umfasst, bietet die Benutzeroberfläche Ihrem Arbeitsteam für jede Modellantwort die Option „Daumen hoch“ oder „Daumen runter“. Im Abschlussbericht werden die aggregierten Ergebnisse für jedes Modell einzeln angezeigt. Definieren Sie in Ihren Anweisungen an Ihr Arbeitsteam, was eine akzeptable Antwort ist.

(Individuelle) Likert-Skala — individuell — Ermöglicht es einem menschlichen Gutachter, auf der Grundlage Ihrer Anweisungen auf einer 5-Punkte-Likert-Skala anzugeben, wie sehr er die Antwort des Modells befürwortet. Im Abschlussbericht wird in den Ergebnissen ein Histogramm mit den 5-Punkte-Bewertungen der Gutachter für Ihren gesamten Datensatz angezeigt. Sie können diese Bewertungsmethode für eine Bewertung verwenden, die ein oder mehrere Modelle umfasst. Wenn Sie diese Bewertungsmethode in einer Bewertung wählen, die mehr als ein Modell umfasst, wird Ihrem Arbeitsteam für jede Modellantwort eine 5-Punkte-Likert-Skala vorgelegt. Im Abschlussbericht werden die aggregierten Ergebnisse für jedes Modell einzeln aufgeführt. Definieren Sie in Ihren Anweisungen die wichtigen Punkte auf der 5-Punkte-Skala, damit Ihre Gutachter wissen, wie sie die Antworten entsprechend Ihren Erwartungen bewerten können.