Persyaratan untuk kumpulan data prompt khusus dalam pekerjaan evaluasi model yang menggunakan pekerja manusia

Untuk membuat pekerjaan evaluasi model yang menggunakan pekerja manusia, Anda harus menentukan kumpulan data yang cepat. Petunjuk kemudian digunakan selama inferensi dengan model yang Anda pilih untuk dievaluasi.

Anda harus membuat dataset prompt kustom dalam pekerjaan evaluasi model yang menggunakan pekerja manusia. Kumpulan data prompt khusus harus disimpan di Amazon S3, dan gunakan format baris JSON dan gunakan ekstensi file. .jsonl Setiap baris harus berupa objek JSON yang valid. Mungkin ada hingga 1000 petunjuk dalam kumpulan data Anda per pekerjaan evaluasi otomatis.

Entri prompt yang valid harus berisi prompt kunci. Keduanya category dan referenceResponse bersifat opsional. Gunakan category kunci untuk memberi label prompt Anda dengan kategori tertentu yang dapat Anda gunakan untuk memfilter hasil saat meninjaunya di kartu laporan evaluasi model. Gunakan referenceResponse kunci untuk menentukan respons kebenaran dasar yang dapat dirujuk oleh pekerja Anda selama evaluasi.

Di UI pekerja, apa yang Anda tentukan prompt dan referenceResponse dapat dilihat oleh pekerja manusia Anda.

Untuk pekerjaan yang dibuat menggunakan konsol, Anda harus memperbarui konfigurasi Cross Origin Resource Sharing (CORS) pada bucket S3. Untuk mempelajari lebih lanjut tentang izin CORS yang diperlukan, lihat. Izin Cross Origin Resource Sharing (CORS) yang diperlukan pada bucket S3

Berikut ini adalah contoh dataset kustom yang berisi 6 input dan menggunakan format baris JSON.

{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}

Contoh berikut adalah entri tunggal diperluas untuk kejelasan

{
  "prompt": "What is high intensity interval training?",
  "category": "Fitness",
  "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods."
}