Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
LoRA
LoRA(Low-Rank Adattamento) adatta in modo efficiente i modelli di grandi dimensioni addestrando un piccolo set di matrici di decomposizione di basso rango anziché tutti i pesi del modello. I pesi del modello base rimangono bloccati: vengono appresi solo i pesi dell'adattatore.
Quando usare LoRa
La maggior parte dei casi d'uso: LoRA raggiunge una qualità quasi FFT con costi significativamente inferiori
Desideri una formazione più rapida e una spesa di elaborazione inferiore
È necessario concatenare le tecniche utilizzando la personalizzazione continua (obbligatorio) LoRA
Desideri artefatti di output più piccoli (solo pesi degli adattatori)
Volete utilizzare più adattatori specifici per attività partendo da un unico modello base: gli adattatori non fusi possono essere sostituiti al momento dell'inferenza, quindi un modello base può essere riutilizzato con molti adattatori ottimizzati su misura
Nota
Sebbene l'artefatto in uscita sia piccolo (solo l'adattatore pesa), l'adattatore richiede comunque il modello base per l'inferenza. A meno che non si unisca l'adattatore al modello base (vedere di merge_weights seguito), è necessario caricare sia il modello base che l'adattatore per eseguire il modello personalizzato.
Parametri chiave
| Parametro | Valori | Description |
|---|---|---|
lora_rank |
8, 16, 32, 64, 128 | Dimensionalità delle matrici di basso rango. Rango più alto = maggiore capacità ma maggiore elaborazione. Inizia con 16. |
lora_alpha |
16, 32, 64, 128, 256 | Fattore di scala. Il tasso di apprendimento effettivo si ridimensiona in base a. alpha/rank In genere è impostato su 2 volte il rango. |
lora_dropout |
0.0 - 1.0 | Probabilità di abbandono per i livelli LoRA adattatori. Aiuta a prevenire il sovradattamento. |
merge_weights |
true, false | Se unire nuovamente i pesi degli adattatori nel modello base dopo l'allenamento. Impostato true per l'implementazione senza costi aggiuntivi per l'adattatore. |
Per il riferimento completo ai parametri, inclusi gli LoRA iperparametri specifici, consulta ogni pagina tecnica:,,. SFT DPO RFT
