As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

RFT

O reforço Fine-Tuning (RFT) usa o aprendizado por reforço para otimizar o comportamento do modelo com base em sinais de recompensa, em vez de exemplos explícitos de entrada-saída. O Amazon SageMaker AI oferece suporte a duas variantes de RFT: RLVR (Reinforcement Learning with Verifiable Rewards) e RLAIF (Reinforcement Learning from AI Feedback).

RLVR

O RLVR usa uma função de recompensa baseada em código que verifica programaticamente se as saídas do modelo estão corretas. Mais adequado para tarefas com respostas objetivamente certas ou erradas.

Quando usar

Formato do conjunto de dados

Cada registro contém metadados do modelo de solicitação e recompensa. A função de recompensa avalia as respostas geradas pelo modelo durante o treinamento.

{
  "data_source": "openai/gsm8k",
  "prompt": [
    {
      "content": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? Let's think step by step and output the final answer after \"####\".",
      "role": "user"
    }
  ],
  "ability": "math",
  "reward_model": {
    "ground_truth": "72",
    "style": "rule"
  }
}

Campos obrigatórios:

Funções de recompensa predefinidas

Hiperparâmetros RLVR LoRa

Hiperparâmetros RLVR FFT

Mesmos parâmetros do RLVR LoRa sem e. lora_rank lora_alpha

RALIF

O RLAIF usa outro LLM como juiz para avaliar as respostas do modelo com base em uma solicitação de recompensa em linguagem natural. Mais adequado para tarefas com critérios de qualidade subjetivos que são difíceis de avaliar programaticamente.

Quando usar

Formato do conjunto de dados

Cada registro contém metadados do modelo de solicitação e recompensa. O juiz do LLM avalia as respostas geradas pelo modelo durante o treinamento.

{
  "data_source": "WeOpenML/PandaLM",
  "prompt": [
    {
      "role": "user",
      "content": "Below are two responses for a given task...Evaluate the responses and generate a reference answer.\n\n### Instruction:\nCompare the given products..."
    }
  ],
  "ability": "pairwise-judging",
  "reward_model": {
    "style": "llmj",
    "ground_truth": "2\n\n### Reason: Response 2 provides a more detailed comparison..."
  }
}

Campos obrigatórios:

Modelos de juízes

Os seguintes modelos de juízes predefinidos são fornecidos no contêiner de treinamento. Selecione um usando o judge_prompt_template hiperparâmetro.

Hiperparâmetros RLAIF LoRa

Mesmos parâmetros do RLVR LoRa com a seguinte diferença:

Hiperparâmetros RLAIF FFT

Mesmos parâmetros do RLAIF LoRa sem e. lora_rank lora_alpha