Anforderungen an benutzerdefinierte Eingabeaufforderungsdatensätze in Modellevaluierungsjobs, bei denen menschliche Arbeitskräfte eingesetzt werden

Um einen Modellevaluierungsjob zu erstellen, bei dem menschliche Arbeitskräfte verwendet werden, müssen Sie einen Prompt-Datensatz angeben. Die Eingabeaufforderungen werden dann bei der Inferenz mit dem Modell verwendet, das Sie für die Auswertung auswählen.

Sie müssen einen benutzerdefinierten Prompt-Datensatz in einem Modellevaluierungsjob erstellen, bei dem menschliche Mitarbeiter verwendet werden. Datensätze mit benutzerdefinierten Eingabeaufforderungen müssen in Amazon S3 gespeichert werden und das JSON-Zeilenformat und die .jsonl-Dateierweiterung verwenden. Jede Zeile muss ein gültiges JSON-Objekt sein. Ihr Datensatz kann bis zu 1000 Eingabeaufforderungen pro automatischem Auswertungsauftrag enthalten.

Ein gültiger Eingabeaufforderungseintrag muss den prompt Schlüssel enthalten. Beides category und referenceResponse sind optional. Verwenden Sie die category-Taste, um Ihrer Eingabeaufforderung eine bestimmte Kategorie zuzuweisen, anhand derer Sie die Ergebnisse filtern können, wenn Sie sie im Bericht über die Modellbewertung überprüfen. Geben Sie mit der referenceResponse-Taste die Ground-Truth-Antwort an, auf die sich Ihre Mitarbeiter bei der Auswertung beziehen können.

Geben Sie in der Worker-Benutzeroberfläche an, sind Ihre Eingaben zu prompt und referenceResponse für Ihre Mitarbeiter sichtbar.

Für Jobs, die mit der Konsole erstellt wurden, müssen Sie die CORS-Konfiguration (Cross Origin Resource Sharing) im S3-Bucket aktualisieren. Verwenden Sie Erforderliche CORS-Berechtigungen (Cross Origin Resource Sharing) für S3-Buckets, um mehr über die für diese Rolle erforderlichen CORS-Berechtigungen zu erfahren.

Im Folgenden finden Sie ein Beispiel für einen benutzerdefinierten Datensatz, der 6 Eingaben enthält und das JSON-Zeilenformat verwendet.

{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}

Das folgende Beispiel ist ein einzelner Eintrag, der der Übersichtlichkeit halber erweitert wurde.

{
  "prompt": "What is high intensity interval training?",
  "category": "Fitness",
  "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods."
}