Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

RFT

Reinforcement Fine-Tuning (RFT) nutzt Reinforcement Learning zur Optimierung des Modellverhaltens auf der Grundlage von Belohnungssignalen und nicht anhand von expliziten Input-Output-Beispielen. Amazon SageMaker AI unterstützt zwei RFT-Varianten: RLVR (Reinforcement Learning with Verifiable Rewards) und RLAIF (Reinforcement Learning from AI Feedback).

RLVR

RLVR verwendet eine codebasierte Belohnungsfunktion, die programmgesteuert überprüft, ob die Modellausgaben korrekt sind. Am besten geeignet für Aufgaben mit objektiv richtigen oder falschen Antworten.

Wann sollte dies verwendet werden?

Format des Datensatzes

Jeder Datensatz enthält Modell-Metadaten für Aufforderungen und Belohnungen. Die Belohnungsfunktion wertet modellgenerierte Reaktionen während des Trainings aus.

{
  "data_source": "openai/gsm8k",
  "prompt": [
    {
      "content": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? Let's think step by step and output the final answer after \"####\".",
      "role": "user"
    }
  ],
  "ability": "math",
  "reward_model": {
    "ground_truth": "72",
    "style": "rule"
  }
}

Erforderliche Felder:

Voreingestellte Belohnungsfunktionen

RLVR — LoRa-Hyperparameter

RLVR-FFT-Hyperparameter

Dieselben Parameter wie RLVR LoRa ohne und. lora_rank lora_alpha

RLAIF

RLAIF verwendet einen anderen LLM als Richter, um die Modellantworten auf der Grundlage einer Aufforderung zur Belohnung in natürlicher Sprache zu bewerten. Am besten geeignet für Aufgaben mit subjektiven Qualitätskriterien, die sich programmatisch nur schwer bewerten lassen.

Wann sollte dies verwendet werden?

Format des Datensatzes

Jeder Datensatz enthält Modell-Metadaten für Aufforderungen und Belohnungen. Der LLM-Richter bewertet die modellgenerierten Antworten während des Trainings.

{
  "data_source": "WeOpenML/PandaLM",
  "prompt": [
    {
      "role": "user",
      "content": "Below are two responses for a given task...Evaluate the responses and generate a reference answer.\n\n### Instruction:\nCompare the given products..."
    }
  ],
  "ability": "pairwise-judging",
  "reward_model": {
    "style": "llmj",
    "ground_truth": "2\n\n### Reason: Response 2 provides a more detailed comparison..."
  }
}

Erforderliche Felder:

Vorlagen für Richter

Die folgenden voreingestellten Vorlagen für Richter sind im Schulungscontainer enthalten. Wählen Sie mithilfe des judge_prompt_template Hyperparameters eine aus.

RLAIF LoRa-Hyperparameter

Dieselben Parameter wie RLVR LoRa mit dem folgenden Unterschied:

RLAIF FFT-Hyperparameter

Dieselben Parameter wie RLAIF LoRa ohne und. lora_rank lora_alpha