As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
LoRa
LoRA(Low-Rank Adaptação) adapta com eficiência modelos grandes treinando um pequeno conjunto de matrizes de decomposição de baixa classificação, em vez de todos os pesos do modelo. Os pesos do modelo básico permanecem congelados — somente os pesos do adaptador são aprendidos.
Quando usar o LoRa
A maioria dos casos de uso — LoRA alcança uma qualidade quase FFT com um custo significativamente menor
Você quer um treinamento mais rápido e menos gastos com computação
Você precisa encadear técnicas usando personalização contínua (LoRAobrigatório)
Você quer artefatos de saída menores (somente pesos do adaptador)
Você quer servir vários adaptadores de tarefas específicas a partir de um único modelo básico — adaptadores não fundidos podem ser trocados no momento da inferência, então um modelo básico pode ser reutilizado com muitos adaptadores ajustados sob medida
nota
Embora o artefato de saída seja pequeno (somente os pesos do adaptador), o adaptador ainda requer o modelo básico para inferência. A menos que você mescle o adaptador no modelo básico (veja merge_weights abaixo), você deve carregar o modelo básico e o adaptador para executar o modelo personalizado.
Principais parâmetros
| Parâmetro | Valores | Description |
|---|---|---|
lora_rank |
8, 16, 32, 64, 128 | Dimensionalidade de matrizes de baixa classificação. Classificação mais alta = mais capacidade, mas mais computação. Comece com 16. |
lora_alpha |
16, 32, 64, 128, 256 | Fator de escala. A taxa de aprendizagem efetiva é escalada comoalpha/rank. Normalmente definido como 2x a classificação. |
lora_dropout |
0, 0 a 1,0 | Probabilidade de abandono para camadas LoRA adaptadoras. Ajuda a evitar o sobreajuste. |
merge_weights |
true, false | Se deve mesclar os pesos do adaptador de volta ao modelo básico após o treinamento. Definido como true para implantação sem sobrecarga do adaptador. |
Para obter a referência completa dos parâmetros, incluindo LoRA hiperparâmetros específicos, consulte cada página técnica:SFT,,DPO. RFT
