Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Modello Merge

Una volta completata la messa a punto, il modello personalizzato viene sottoposto a una fase opzionale di fusione dei modelli configurabile dall'utente che unisce le nuove conoscenze apprese con le funzionalità del «modello base». Questo processo garantisce che il modello finale mantenga l'intelligenza originale del «modello base» incorporando al contempo il comportamento specializzato appreso durante l'ultimo corso di formazione sulla messa a punto. La fusione dei modelli attenua un fenomeno noto come dimenticanza catastrofica, in cui un modello perde le conoscenze acquisite in precedenza dopo essere stato messo a punto su nuovi dati.

Applicabilità della fusione dei modelli per tipo di formazione

L'unione dei modelli è configurabile solo per l'addestramento SFT. La tabella seguente riassume il comportamento di fusione dei modelli per ogni tipo di formazione:

Quando utilizzare l'unione dei modelli

È necessario abilitare l'unione dei modelli quando:

Potrebbe non essere necessaria la fusione dei modelli quando:

Come configurare i pesi di fusione dei modelli

Il valore predefinito model_importance_score.fine_tuned_model è 1.0, il che significa che il checkpoint dell'output di allenamento utilizza interamente i pesi ottimizzati, senza alcuna fusione con il «modello base». L'impostazione predefinita funziona bene quando i dati di allenamento sono completi e rappresentano fedelmente l'attività target.

È possibile controllare il modo in cui il modello finale bilancia specializzazione e conoscenze generali impostando gli iperparametri model_importance_score nei propri iperparametri. Selezione degli iperparametri e aggiornamento della ricetta Ad esempio:

    training_config:
    # ...
      model_importance_score:
        fine_tuned_model: 0.75 # set value between 0.0 to 1.0 inclusive
        

model_importance_score.fine_tuned_modelvalori più vicini a 1,0 fanno sì che il modello propenda per l'ottimizzazione dei dati, mentre valori più vicini a 0,0 preservano una maggior parte delle capacità generali del modello base. Nell'esempio precedente, il modello addestrato finale viene prodotto unendo il 75% del modello ottimizzato sul set di dati specifico con il 25% del «modello base».

Se notate che il modello perfezionato perde le funzionalità generali (ad esempio, prestazioni ridotte in attività che non rientrano nei dati di addestramento), riducete il tutto model_importance_score.fine_tuned_model per integrare maggiormente le conoscenze del «modello base».

Scelta del modello: unisci i pesi

Il model_importance_score.fine_tuned_model parametro controlla l'equilibrio tra il modello ottimizzato e il modello base. Iniziate con queste linee guida:

Principio generale: pesi più elevati (più vicini a 1,0) massimizzano le prestazioni delle attività target, ma rischiano di perdere le capacità generali. Pesi più bassi (più vicini a 0,0) preservano le ampie competenze del modello base ma riducono la specializzazione. Non esiste un valore universalmente ottimale: il giusto peso dipende dalle dimensioni del set di dati, dalla sovrapposizione del dominio con il modello base e dalle funzionalità da conservare.

Valutazione del peso dell'unione

Al termine dell'addestramento, valuta il modello unito per confermare che il peso di unione sia appropriato. Non sono necessarie più sessioni di formazione: un singolo passaggio di valutazione può dirti se apportare modifiche.

Come funziona la fusione: messa a punto Full-rank

Full-rank l'addestramento produce un set completo di pesi del modello. Durante l'unione, ogni parametro viene calcolato come una combinazione ponderata:

# Weighted interpolation
Merged Model = (1 - model_importance_score.fine_tuned_model) * Base Model + model_importance_score.fine_tuned_model * Fine-Tuned Model
        

Ad esempio, conmodel_importance_score.fine_tuned_model = 0.3, il modello unito è composto per il 70% da conoscenze sul «modello base» e per il 30% da conoscenze perfezionate.

Come funziona la fusione: ottimizzazione LoRa

LoRa (Low-Rank Adaptation) apprende una coppia compatta di matrici di basso rango (A e B) che rappresentano l'adattamento come aggiornamento di basso rango. Durante il processo di fusione del modello, ogni matrice LoRa A e B viene ridimensionata come mostrato di seguito. model_importance_score.fine_tuned_model In queste formule, alpha è il fattore di scala LoRa (peft.lora_tuning.alphanella ricetta di allenamento) ed è il rango LoRa. rank Per i alpha valori disponibili, consulta la ricetta di allenamento LoRa SFT.

Nota che, a questo punto, le matrici A e B contengono solo le informazioni relative all'ultima esecuzione di messa a punto. Non è a conoscenza delle sessioni di allenamento precedenti. Le conoscenze acquisite nelle sessioni di formazione precedenti deriveranno dall'unione del modello con il «modello base» o dalla fusione dell'adattatore LoRa in fase precedente descritta di seguito.

Scaled_A = sqrt(model_importance_score.fine_tuned_model) * sqrt(alpha/rank) * A
Scaled_B = sqrt(model_importance_score.fine_tuned_model) * sqrt(alpha/rank) * B
        

L'addestramento LoRa produce due artefatti del modello: un modello completamente unito e un set di adattatori LoRa uniti. Diamo un'occhiata a ciascuno di essi separatamente.

Modello completamente unito

L'aggiornamento LoRa viene ridimensionato e aggiunto al «modello base»:

Merged Model = Base Model + (Scaled_B @ Scaled_A)
        

Ora Merged Model ha acquisito conoscenze sia dall'attuale corso di formazione, sia ereditando alcune conoscenze dalla configurazione Base Model dell'utente. model_importance_score.fine_tuned_model

Adattatori LoRa uniti

Il modo in cui gli adattatori LoRa vengono uniti dipende dal fatto che si stia eseguendo un training in una sola fase o iterativo.

Questi adattatori uniti Merged_A riflettono la cronologia completa dei corsi di formazione Merged_B e vengono utilizzati per l'inferenza su richiesta. On-demand inferenza sui modelli personalizzati