Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
LoRA
LoRA(Low-Rank Adaptation) adapte efficacement les grands modèles en entraînant un petit ensemble de matrices de décomposition de bas rang plutôt que tous les poids du modèle. Les poids du modèle de base restent figés ; seuls les poids de l'adaptateur sont appris.
Quand utiliser LoRa
Dans la plupart des cas d'utilisation : LoRA atteint une qualité proche de la FFT à un coût nettement inférieur
Vous souhaitez une formation plus rapide et des dépenses informatiques réduites
Vous devez enchaîner les techniques en utilisant une personnalisation continue (LoRAobligatoire)
Vous souhaitez des artefacts de sortie plus petits (poids de l'adaptateur uniquement)
Vous souhaitez fournir plusieurs adaptateurs spécifiques à une tâche à partir d'un seul modèle de base : les adaptateurs non fusionnés peuvent être échangés au moment de l'inférence, de sorte qu'un modèle de base peut être réutilisé avec de nombreux adaptateurs personnalisés
Note
Bien que l'artefact de sortie soit petit (poids de l'adaptateur uniquement), l'adaptateur a toujours besoin du modèle de base pour l'inférence. À moins de fusionner l'adaptateur avec le modèle de base (voir merge_weights ci-dessous), vous devez charger à la fois le modèle de base et l'adaptateur pour exécuter le modèle personnalisé.
Paramètres clés
| Paramètre | Valeurs | Description |
|---|---|---|
lora_rank |
8, 16, 32, 64 et 128 | Dimensionnalité des matrices de bas rang. Rang supérieur = plus de capacité mais plus de calcul. Commencez par 16. |
lora_alpha |
16, 32, 64, 128 et 256 | Facteur d'échelle. Le taux d'apprentissage effectif s'échelonne comme suit alpha/rank : Généralement réglé sur 2 fois le rang. |
lora_dropout |
0.0-1.0 | Probabilité d'abandon pour les couches LoRA adaptatrices. Aide à prévenir le surajustement. |
merge_weights |
true, false | S'il faut fusionner les poids de l'adaptateur dans le modèle de base après l'entraînement. Paramétré sur true pour un déploiement sans frais d'adaptateur. |
Pour la référence complète des paramètres, y compris les hyperparamètres LoRA spécifiques, consultez la page de chaque technique :SFT,,DPO. RFT
