Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

SFT

Supervised Fine-Tuning trainiert ein Modell anhand beschrifteter Eingabe-Ausgabe-Paare, um sein Verhalten an bestimmten Beispielen auszurichten. Das Modell lernt, Antworten zu erzeugen, die Ihren Trainingsdaten entsprechen.

Wann sollte dies verwendet werden?

Was erreicht es

Das Modell lernt, die Muster in Ihren Trainingsbeispielen nachzuahmen und erzeugt Ausgaben, die dem Stil, Format und Inhalt Ihrer beschrifteten Daten entsprechen.

Format des Datensatzes

SFT unterstützt zwei Datensatzformate. Alle Datensätze müssen im JSONL-Format vorliegen (ein JSON-Objekt pro Zeile). Eine system Nachricht ist in beiden Formaten optional.

Format 1: Nachrichten

Stellen Sie die Konversation als eine Liste von Nachrichten dar, die mit Rollen gekennzeichnet sind. Falls enthalten, muss die system Nachricht das erste Element sein.

{
  "messages": [
    {"role": "system", "content": "..."},
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."}
  ]
}

Format 2: Aufforderung/Abschluss

Geben Sie die Eingabe und die erwartete Ausgabe als separate Felder mit einem optionalen system Feld auf oberster Ebene an.

{
  "system": "...",
  "prompt": "...",
  "completion": "..."
}

Hyperparameter

SFT LoRa

WEICH FFT