View a markdown version of this page

FFT - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

FFT

FFT (Full Fine-Tuning) met à jour tous les poids des modèles pendant l'entraînement. Cela fournit le niveau de personnalisation le plus élevé, mais nécessite davantage de ressources de calcul et un temps de formation plus long.

Quand utiliser la FFT

  • Changements de domaines importants où le modèle nécessite des modifications de connaissances fondamentales

  • Vous disposez d'un ensemble de données volumineux et de haute qualité (les petits ensembles de données risquent d'être oubliés de manière catastrophique)

  • Vous ne voulez pas surcharger l'adaptateur au moment de l'inférence

  • Une profondeur de personnalisation maximale est requise

Principales différences par rapport à LoRa

  • Non lora_ranklora_alpha, ou merge_weights paramètres

  • Ajoute max_response_length un paramètre pour contrôler la longueur de sortie générée

  • Coûts de calcul plus élevés et temps de formation plus long

  • Artefacts de sortie plus importants (poids complets du modèle)

  • Non compatible avec la personnalisation continue

Pour la référence complète des paramètres, y compris FFT-specific les hyperparamètres, consultez la page de chaque technique :SFT,DPO,RFT.