Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen von guten Anweisungen für Arbeitnehmer

Durch Erstellen guter Anweisungen für Aufträge zur Modellbewertung wird die Genauigkeit Ihrer Arbeitnehmer bei der Ausführung ihrer Aufgabe verbessert. Sie können die Standardanweisungen ändern, die in der Konsole angezeigt werden, wenn Sie einen Auftrag zur Modellbewertung erstellen. Die Anweisungen werden dem Auftragnehmer auf der Seite angezeigt, auf der er seine Labeling-Aufgabe durchführt.

Sie können Anweisungen an zwei Stellen bereitstellen, um Mitarbeitern bei der Erledigung der ihnen zugewiesenen Aufgaben zu helfen.

Geben Sie für jede Auswertungs- und Bewertungsmethode eine aussagekräftige Beschreibung ein.

Die Beschreibungen sollten eine kurze Erläuterung der ausgewählten Metriken enthalten. In der Beschreibung sollte die Metrik näher erläutert und deutlich gemacht werden, wie Arbeitnehmer die gewählte Bewertungsmethode auswerten sollen. Beispiele dafür, wie die einzelnen Bewertungsmethoden in der Worker-Benutzeroberfläche finden Sie unter Zusammenfassung der verfügbaren Bewertungsmethoden .

Bereitstellen allgemeiner Auswertungsanweisungen für Ihre Mitarbeiter

Diese Anweisungen werden auf derselben Webseite angezeigt, auf der Arbeitnehmer eine Aufgabe durchführen. Sie können diesen Bereich verwenden, um allgemeine Anweisungen für den Auftrag zur Modellbewertung vorzugeben und die Ground-Truth-Antworten zu beschreiben, sofern Sie sie in Ihren Prompt-Datensatz aufgenommen haben.

Zusammenfassung der verfügbaren Bewertungsmethoden

In jedem der folgenden Abschnitte finden Sie ein Beispiel für die Bewertungsmethoden, die Ihr Arbeitsteam in der Auswertungsoberfläche gesehen hat, und wie diese Ergebnisse in Amazon S3 gespeichert werden.

Likert-Skala, Vergleich mehrerer Modellergebnisse

Bewerter geben gemäß Ihren Anweisungen auf einer 5-Punkte-Likert-Skala an, welche der beiden Antworten aus dem Modell sie bevorzugen. Die Ergebnisse im Abschlussbericht werden als Histogramm der Präferenzbewertungen der Bewerter für Ihren gesamten Datensatz angezeigt.

Stellen Sie sicher, dass Sie in Ihren Anweisungen die wichtigen Punkte der 5-Punkte-Skala definieren, damit Ihre Bewerter wissen, wie sie die Antworten erwartungsgemäß bewerten können.

JSON-Ausgabe

Unter dem ersten untergeordneten Schlüssel evaluationResults wird die gewählte Bewertungsmethode zurückgegeben. In der Ausgabedatei, die in Ihrem Amazon-S3-Bucket gespeichert ist, werden die Ergebnisse der einzelnen Mitarbeiter im "evaluationResults": "comparisonLikertScale"-Schlüssel-Wert-Paar gespeichert.

Auswahlschaltflächen (Optionsfeld)

Mithilfe der Auswahlschaltflächen können Bewerter eine Antwort anstelle einer anderen auswählen. Die Gutachter geben anhand von Optionsfeldern an, welche von zwei Antworten sie gemäß Ihren Anweisungen bevorzugen. Die Ergebnisse im Abschlussbericht werden als Prozentsatz der Antworten ausgewiesen, die die Mitarbeiter für jedes Modell bevorzugt haben. Achten Sie darauf, Ihre Auswertungsmethode in der Anleitung klar zu erläutern.

JSON-Ausgabe

Unter dem ersten untergeordneten Schlüssel evaluationResults wird die gewählte Bewertungsmethode zurückgegeben. In der Ausgabedatei, die in Ihrem Amazon-S3-Bucket gespeichert ist, werden die Ergebnisse der einzelnen Mitarbeiter im "evaluationResults": "comparisonChoice"-Schlüssel-Wert-Paar gespeichert.

Ordinaler Rang

Mit einer ordinalen Rangfolge kann ein Bewerter seine bevorzugten Antworten auf eine Eingabeaufforderung entsprechend Ihren Anweisungen in eine Reihenfolge beginnend bei 1 bringen. Die Ergebnisse im Abschlussbericht werden als Histogramm der Bewertungen der Bewerter für den gesamten Datensatz angezeigt. Definieren Sie in Ihren Anweisungen unbedingt, was ein Rang von 1 bedeutet.

JSON-Ausgabe

Unter dem ersten untergeordneten Schlüssel evaluationResults wird die gewählte Bewertungsmethode zurückgegeben. In der Ausgabedatei, die in Ihrem Amazon-S3-Bucket gespeichert ist, werden die Ergebnisse der einzelnen Mitarbeiter im "evaluationResults": "comparisonRank"-Schlüssel-Wert-Paar gespeichert.

Daumen hoch/runter

Mit der Option „Daumen hoch/runter“ kann ein Bewerter jede Antwort eines Modells entsprechend Ihren Anweisungen als akzeptabel/inakzeptabel einstufen. Die Ergebnisse im Abschlussbericht werden als Prozentsatz der Gesamtzahl der abgegebenen Bewertungen ausgewiesen, die für jedes Modell eine positive Bewertung (Daumen hoch) erhalten haben. Sie können diese Bewertungsmethode für die Auswertung eines oder mehrerer Modelle verwenden. Wenn Sie diese Methode für eine Auswertung mit zwei Modellen verwenden, wird Ihrem Arbeitsteam für jede Modellantwort ein „Daumen hoch/runter“ angezeigt, und im Abschlussbericht werden die aggregierten Ergebnisse für jedes Modell einzeln aufgeführt. Stellen Sie sicher, dass Sie in Ihren Anweisungen definieren, was akzeptabel ist (d. h. was eine Bewertung mit dem Daumen hoch ist).

JSON-Ausgabe

Unter dem ersten untergeordneten Schlüssel evaluationResults wird die gewählte Bewertungsmethode zurückgegeben. In der Ausgabedatei, die in Ihrem Amazon-S3-Bucket gespeichert ist, werden die Ergebnisse der einzelnen Mitarbeiter im "evaluationResults": "thumbsUpDown"-Schlüssel-Wert-Paar gespeichert.

Likert-Skala, Bewertung einer einzelnen Modellantwort

Anhand einer 5-Punkte-Likert-Skala kann ein Bewerter entsprechend Ihrer Anweisungen angeben, inwiefern er die Antwort des Modells befürwortet. Die Ergebnisse im Abschlussbericht werden als Histogramm der 5-Punkte-Bewertungen der Bewerter für Ihren gesamten Datensatz angezeigt. Sie können diese Methode für eine Auswertung eines oder mehrerer Modelle verwenden. Wenn Sie diese Bewertungsmethode für eine Auswertung mit mehr als einem Modell verwenden, wird Ihrem Arbeitsteam für jede Modellantwort eine 5-Punkte-Likert-Skala angezeigt, und im Abschlussbericht werden die aggregierten Ergebnisse für jedes Modell einzeln aufgeführt. Stellen Sie sicher, dass Sie in Ihren Anweisungen die wichtigen Punkte der 5-Punkte-Skala definieren, damit Ihre Bewerter wissen, wie sie die Antworten erwartungsgemäß bewerten können.

JSON-Ausgabe

Unter dem ersten untergeordneten Schlüssel evaluationResults wird die gewählte Bewertungsmethode zurückgegeben. In der Ausgabedatei, die in Ihrem Amazon-S3-Bucket gespeichert ist, werden die Ergebnisse der einzelnen Mitarbeiter im "evaluationResults": "individualLikertScale"-Schlüssel-Wert-Paar gespeichert.