Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

RFT

Reinforcement Fine-Tuning (RFT) utilizza l'apprendimento per rinforzo per ottimizzare il comportamento del modello sulla base di segnali di ricompensa piuttosto che di esempi espliciti di input-output. Amazon SageMaker AI supporta due varianti RFT: RLVR (Reinforcement Learning with Verifiable Rewards) e RLAIF (Reinforcement Learning from AI Feedback).

RLVR

RLVR utilizza una funzione di ricompensa basata su codice che verifica in modo programmatico se gli output del modello sono corretti. Ideale per attività con risposte oggettivamente giuste o sbagliate.

Quando utilizzarlo

Formato del set di dati

Ogni record contiene i metadati del modello di richiesta e ricompensa. La funzione di ricompensa valuta le risposte generate dal modello durante l'allenamento.

{
  "data_source": "openai/gsm8k",
  "prompt": [
    {
      "content": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? Let's think step by step and output the final answer after \"####\".",
      "role": "user"
    }
  ],
  "ability": "math",
  "reward_model": {
    "ground_truth": "72",
    "style": "rule"
  }
}

Campi obbligatori:

Funzioni di ricompensa preimpostate

Iperparametri RLVR LoRa

Iperparametri FFT RLVR

Stessi parametri di RLVR LoRa senza e. lora_rank lora_alpha

RAIF

RLAIF utilizza un altro LLM come giudice per valutare le risposte del modello sulla base di una richiesta di ricompensa in linguaggio naturale. Ideale per attività con criteri di qualità soggettivi difficili da valutare programmaticamente.

Quando utilizzarlo

Formato del set di dati

Ogni record contiene i metadati del modello di richiesta e ricompensa. Il giudice LLM valuta le risposte generate dal modello durante la formazione.

{
  "data_source": "WeOpenML/PandaLM",
  "prompt": [
    {
      "role": "user",
      "content": "Below are two responses for a given task...Evaluate the responses and generate a reference answer.\n\n### Instruction:\nCompare the given products..."
    }
  ],
  "ability": "pairwise-judging",
  "reward_model": {
    "style": "llmj",
    "ground_truth": "2\n\n### Reason: Response 2 provides a more detailed comparison..."
  }
}

Campi obbligatori:

Modelli Judge

I seguenti modelli di giudice preimpostati sono forniti nel contenitore di formazione. Selezionane uno utilizzando l'judge_prompt_templateiperparametro.

Iperparametri RLAIF LoRa

Stessi parametri di RLVR LoRa con la seguente differenza:

Iperparametri FFT RLAIF

Stessi parametri di RLAIF LoRa senza e. lora_rank lora_alpha