翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
FFT
FFT (完全ファインチューニング) は、トレーニング中にすべてのモデルの重みを更新します。これにより、最も深いレベルのカスタマイズが可能になりますが、より多くのコンピューティングリソースと長いトレーニング時間が必要になります。
FFT を使用するタイミング
モデルが基本的な知識の変更を必要とする大規模なドメインシフト
大規模で高品質のデータセットがある (小さなデータセットは壊滅的な忘れのリスクがある)
推論時にアダプターのオーバーヘッドが不要な場合
最大カスタマイズ深度が必要です
LoRA との主な違い
lora_rank、lora_alpha、またはmerge_weightsパラメータなし生成された出力長を制御するための
max_response_lengthパラメータを追加コンピューティングコストが高く、トレーニング時間が長い
より大きな出力アーティファクト (フルモデルの重み)
継続的なカスタマイズと互換性がない
FFT 固有のハイパーパラメータを含む完全なパラメータリファレンスについては、「」、SFTDPO「」、「」の各手法ページを参照してくださいRFT。
