기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
FFT
FFT(Full Fine-Tuning)는 훈련 중에 모든 모델 가중치를 업데이트합니다. 이를 통해 가장 심층적인 사용자 지정 수준을 제공하지만 더 많은 컴퓨팅 리소스와 더 긴 훈련 시간이 필요합니다.
FFT를 사용해야 하는 경우
모델에 기본 지식 변경이 필요한 대규모 도메인 전환
고품질의 대규모 데이터 세트가 있는 경우(작은 데이터 세트는 치명적인 잊어버림 위험)
추론 시간에 어댑터 오버헤드를 원하지 않는 경우
최대 사용자 지정 깊이가 필요합니다.
LoRA와의 주요 차이점
lora_rank,lora_alpha또는merge_weights파라미터 없음생성된 출력 길이를 제어하기 위한
max_response_length파라미터를 추가합니다.컴퓨팅 비용 증가 및 훈련 시간 연장
더 큰 출력 아티팩트(전체 모델 가중치)
지속적인 사용자 지정과 호환되지 않음
FFT별 하이퍼파라미터를 포함한 전체 파라미터 참조는 각 기법 페이지 , DPO, SFT를 참조하세요RFT.
