Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

DPO

Description

Direct Preference Optimization (DPO) allinea un modello alle preferenze umane addestrandosi su coppie di risposte scelte (preferite) e rifiutate (non preferite) alla stessa richiesta.

Quando utilizzarlo

Cosa ottiene

Il modello impara a preferire la generazione di risposte simili agli esempi scelti ed evitare esempi rifiutati, senza richiedere un modello di ricompensa separato.

Formato del set di dati

Il DPO richiede coppie di risposte scelte (preferite) e rifiutate (non preferite) per lo stesso prompt. Il DPO supporta due formati di set di dati. Tutti i set di dati devono essere in formato JSONL (un oggetto JSON per riga). Un system messaggio è facoltativo in entrambi i formati.

Formato 1: messaggi

Fornisci chosen e rejected come elenchi completi di messaggi. Se incluso, il system messaggio deve essere il primo elemento e deve essere lo stesso in entrambi chosen erejected.

{
  "chosen": [
    {"role": "system", "content": "..."},
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."}
  ],
  "rejected": [
    {"role": "system", "content": "..."},
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."}
  ]
}

Formato 2: richiesto/scelto/rifiutato

Fornisci il prompt e entrambe le risposte come campi stringa separati, con un system campo opzionale di primo livello.

{
  "system": "...",
  "prompt": "...",
  "chosen": "...",
  "rejected": "..."
}

Linee guida

Iperparametri - DPO LoRa

Iperparametri - DPO FFT