Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

DPO

Deskripsi

Pengoptimalan Preferensi Langsung (DPO) menyelaraskan model dengan preferensi manusia dengan melatih pasangan respons yang dipilih (disukai) dan ditolak (tidak disukai) terhadap prompt yang sama.

Kapan harus digunakan

Apa yang dicapai

Model belajar untuk lebih memilih menghasilkan tanggapan yang mirip dengan contoh yang dipilih dan menghindari contoh yang ditolak, tanpa memerlukan model hadiah terpisah.

Format kumpulan data

DPO membutuhkan pasangan tanggapan yang dipilih (disukai) dan ditolak (tidak disukai) untuk prompt yang sama. DPO mendukung dua format dataset. Semua dataset harus dalam format JSONL (satu objek JSON per baris). systemPesan bersifat opsional dalam kedua format.

Format 1: pesan

Berikan chosen dan rejected sebagai daftar pesan lengkap. Jika disertakan, system pesan harus menjadi elemen pertama dan harus sama di keduanya chosen danrejected.

{
  "chosen": [
    {"role": "system", "content": "..."},
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."}
  ],
  "rejected": [
    {"role": "system", "content": "..."},
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."}
  ]
}

Format 2: promp t/ dipili h/ ditolak

Berikan prompt dan kedua respons sebagai bidang string terpisah, dengan system bidang tingkat atas opsional.

{
  "system": "...",
  "prompt": "...",
  "chosen": "...",
  "rejected": "..."
}

Bimbingan

Hiperparameter - DPO LoRa

Hiperparameter - DPO FFT