翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

RFT

強化ファインチューニング (RFT) は、強化学習を使用して、明示的な入出力の例ではなく、報酬シグナルに基づいてモデルの動作を最適化します。Amazon SageMaker AI は、RLVR (検証可能な報酬による強化学習) と RLAIF (AI フィードバックによる強化学習) の 2 つの RFT バリアントをサポートしています。

RLVR

RLVR は、モデル出力が正しいかどうかをプログラムで検証するコードベースの報酬関数を使用します。客観的に正しい回答または間違った回答があるタスクに最適です。

どのようなときに使うか

データセット形式

各レコードには、プロンプトと報酬モデルのメタデータが含まれます。報酬関数は、トレーニング中にモデルが生成したレスポンスを評価します。

{
  "data_source": "openai/gsm8k",
  "prompt": [
    {
      "content": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? Let's think step by step and output the final answer after \"####\".",
      "role": "user"
    }
  ],
  "ability": "math",
  "reward_model": {
    "ground_truth": "72",
    "style": "rule"
  }
}

必須フィールド:

プリセット報酬関数

RLVR LoRA ハイパーパラメータ

RLVR FFT ハイパーパラメータ

lora_rank および のない RLVR LoRA と同じパラメータlora_alpha。

RLAIF

RLAIF は、別の LLM を判事として使用して、自然言語の報酬プロンプトに基づいてモデルレスポンスを評価します。プログラムによる評価が難しい主観的な品質基準を持つタスクに最適です。

どのようなときに使うか

データセット形式

各レコードには、プロンプトと報酬モデルのメタデータが含まれます。LLM 判事は、トレーニング中にモデルが生成したレスポンスを評価します。

{
  "data_source": "WeOpenML/PandaLM",
  "prompt": [
    {
      "role": "user",
      "content": "Below are two responses for a given task...Evaluate the responses and generate a reference answer.\n\n### Instruction:\nCompare the given products..."
    }
  ],
  "ability": "pairwise-judging",
  "reward_model": {
    "style": "llmj",
    "ground_truth": "2\n\n### Reason: Response 2 provides a more detailed comparison..."
  }
}

必須フィールド:

審査員テンプレート

トレーニングコンテナには、次の事前設定された審査員テンプレートが用意されています。judge_prompt_template ハイパーパラメータを使用して 1 つ選択します。

RLAIF LoRA ハイパーパラメータ

RLVR LoRA と同じパラメータですが、次の違いがあります。

RLAIF FFT ハイパーパラメータ

lora_rank および のない RLAIF LoRA と同じパラメータlora_alpha。