ヒューマンワーカーを使用するモデル評価ジョブのカスタムプロンプトデータセットの要件

ヒューマンワーカーを使用するモデル評価ジョブを作成するには、プロンプトデータセットを指定する必要があります。その後、プロンプトは、評価対象として選択したモデルで推論中に使用されます。

ヒューマンワーカーを使用するモデル評価ジョブでカスタムプロンプトデータセットを作成する必要があります。カスタムプロンプトデータセットは Amazon S3 に保存し、JSON Lines 形式と .jsonl ファイル拡張子を使用する必要があります。各行は有効な JSON オブジェクトである必要があります。自動評価ジョブ 1 件につき、データセットには最大 1,000 のプロンプトを設定できます。

有効なプロンプトエントリには prompt キーが含まれている必要があります。category および referenceResponse はオプションです。category キーを使用してプロンプトに特定のカテゴリのラベルを付けると、モデル評価レポートカードで結果をレビューする際に結果をフィルタリングできます。referenceResponse キーを使用して、評価中にワーカーが参照できるグラウンドトゥルースレスポンスを指定します。

ワーカー UI では、指定した prompt および referenceResponse がヒューマンワーカーに表示されます。

コンソールを使用して作成されたジョブの場合、S3 バケットの Cross Origin Resource Sharing (CORS) 設定を更新する必要があります。必要な CORS アクセス許可の詳細については、「S3 バケットで必要な Cross Origin Resource Sharing (CORS) アクセス許可」を参照してください。

以下は、6 つの入力を含み、JSON Lines 形式を使用するカスタムデータセットの例です。

{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}

わかりやすくするため、次の例では 1 つのエントリを拡張しています。

{
  "prompt": "What is high intensity interval training?",
  "category": "Fitness",
  "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods."
}