기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

RFT

강화 미세 조정(RFT)은 강화 학습을 사용하여 명시적 입력-출력 예제가 아닌 보상 신호를 기반으로 모델 동작을 최적화합니다. Amazon SageMaker AI는 RLVR(검증 가능한 보상을 통한 강화 학습)과 RLAIF(AI 피드백의 강화 학습)의 두 가지 RFT 변형을 지원합니다.

RLVR

RLVR은 모델 출력이 올바른지 프로그래밍 방식으로 확인하는 코드 기반 보상 함수를 사용합니다. 객관적으로 정답 또는 오답이 있는 작업에 가장 적합합니다.

사용해야 하는 경우

데이터 세트 형식

각 레코드에는 프롬프트 및 보상 모델 메타데이터가 포함되어 있습니다. 보상 함수는 훈련 중에 모델 생성 응답을 평가합니다.

{
  "data_source": "openai/gsm8k",
  "prompt": [
    {
      "content": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? Let's think step by step and output the final answer after \"####\".",
      "role": "user"
    }
  ],
  "ability": "math",
  "reward_model": {
    "ground_truth": "72",
    "style": "rule"
  }
}

필수 필드:

보상 함수 사전 설정

RLVR LoRA 하이퍼파라미터

RLVR FFT 하이퍼파라미터

lora_rank 및 없이 RLVR LoRA와 동일한 파라미터lora_alpha.

RLAIF

RLAIF는 다른 LLM을 판사로 사용하여 자연어 보상 프롬프트를 기반으로 모델 응답을 평가합니다. 프로그래밍 방식으로 평가하기 어려운 주관적 품질 기준이 있는 작업에 가장 적합합니다.

사용해야 하는 경우

데이터 세트 형식

각 레코드에는 프롬프트 및 보상 모델 메타데이터가 포함되어 있습니다. LLM 판사는 훈련 중에 모델 생성 응답을 평가합니다.

{
  "data_source": "WeOpenML/PandaLM",
  "prompt": [
    {
      "role": "user",
      "content": "Below are two responses for a given task...Evaluate the responses and generate a reference answer.\n\n### Instruction:\nCompare the given products..."
    }
  ],
  "ability": "pairwise-judging",
  "reward_model": {
    "style": "llmj",
    "ground_truth": "2\n\n### Reason: Response 2 provides a more detailed comparison..."
  }
}

필수 필드:

판사 템플릿

다음과 같은 사전 설정된 판단 템플릿이 훈련 컨테이너에 제공됩니다. judge_prompt_template 하이퍼파라미터를 사용하여 하나를 선택합니다.

RLAIF LoRA 하이퍼파라미터

RLVR LoRA와 동일한 파라미터와 다음과 같은 차이점이 있습니다.

RLAIF FFT 하이퍼파라미터

lora_rank 및 없이 RLAIF LoRA와 동일한 파라미터입니다lora_alpha.