Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

DPO

Description

Direct Preference Optimization (DPO) richtet ein Modell an den menschlichen Präferenzen aus, indem es mit Paaren von ausgewählten (bevorzugten) und abgelehnten (nicht bevorzugten) Antworten auf dieselbe Aufforderung trainiert.

Wann sollte dies verwendet werden?

Was es erreicht

Das Modell lernt, es vorzuziehen, Antworten zu generieren, die den ausgewählten Beispielen ähneln, und abgelehnte Beispiele zu vermeiden, ohne dass ein separates Belohnungsmodell erforderlich ist.

Format des Datensatzes

DPO benötigt Paare von ausgewählten (bevorzugten) und abgelehnten (nicht bevorzugten) Antworten für dieselbe Aufforderung. DPO unterstützt zwei Datensatzformate. Alle Datensätze müssen im JSONL-Format vorliegen (ein JSON-Objekt pro Zeile). Eine system Nachricht ist in beiden Formaten optional.

Format 1: Nachrichten

Stellen Sie chosen und rejected als vollständige Nachrichtenlisten bereit. Falls angegeben, muss die system Nachricht das erste Element sein und in beiden chosen Elementen identisch seinrejected.

{
  "chosen": [
    {"role": "system", "content": "..."},
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."}
  ],
  "rejected": [
    {"role": "system", "content": "..."},
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."}
  ]
}

Format 2: Eingabeaufforderung/ausgewählt/abgelehnt

Geben Sie die Aufforderung und beide Antworten als separate Zeichenfolgenfelder mit einem optionalen system Feld auf oberster Ebene an.

{
  "system": "...",
  "prompt": "...",
  "chosen": "...",
  "rejected": "..."
}

Empfehlung

Hyperparameter - DPO LoRa

Hyperparameter — DPO FFT