Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

DPO

Description

L'optimisation des préférences directes (DPO) aligne un modèle sur les préférences humaines en s'entraînant sur des paires de réponses choisies (préférées) et rejetées (non préférées) à la même invite.

Quand l’utiliser

Ce qu'il réalise

Le modèle apprend à préférer générer des réponses similaires aux exemples choisis et à éviter les exemples rejetés, sans avoir besoin d'un modèle de récompense distinct.

Format du jeu de données

DPO exige des paires de réponses choisies (préférées) et rejetées (non préférées) pour la même invite. DPO prend en charge deux formats de jeu de données. Tous les ensembles de données doivent être au format JSONL (un objet JSON par ligne). Un system message est facultatif dans les deux formats.

Format 1 : messages

Fournissez chosen et rejected sous forme de listes de messages complètes. S'il est inclus, le system message doit être le premier élément et doit être identique à la fois dans chosen etrejected.

{
  "chosen": [
    {"role": "system", "content": "..."},
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."}
  ],
  "rejected": [
    {"role": "system", "content": "..."},
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."}
  ]
}

Format 2 : prompt/choisi/rejeté

Fournissez l'invite et les deux réponses sous forme de champs de chaîne distincts, avec un system champ de niveau supérieur facultatif.

{
  "system": "...",
  "prompt": "...",
  "chosen": "...",
  "rejected": "..."
}

Conseils

Hyperparamètres - DPO LoRa

Hyperparamètres - DPO FFT