Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Modell Merge

Nach Abschluss der Feinabstimmung durchläuft Ihr benutzerdefiniertes Modell einen optionalen, vom Benutzer konfigurierbaren Schritt zum Zusammenführen der Modelle, bei dem das neu erlernte Wissen mit den Fähigkeiten des „Basismodells“ kombiniert wird. Dieser Prozess stellt sicher, dass Ihr endgültiges Modell die ursprüngliche Intelligenz des „Basismodells“ beibehält und gleichzeitig das spezielle Verhalten berücksichtigt, das Sie während des letzten Feinabstimmungs-Trainings gelernt haben. Durch das Zusammenführen von Modellen wird ein Phänomen abgemildert, das als katastrophales Vergessen bekannt ist. Dabei verliert ein Modell bereits erlerntes Wissen, nachdem es anhand neuer Daten optimiert wurde.

Anwendbarkeit der Modellzusammenführung nach Trainingstyp

Das Zusammenführen von Modellen ist nur für das SFT-Training konfigurierbar. Die folgende Tabelle fasst das Verhalten beim Zusammenführen von Modellen für jeden Trainingstyp zusammen:

Wann sollte das Zusammenführen von Modellen verwendet werden

Sie sollten das Zusammenführen von Modellen aktivieren, wenn:

In folgenden Fällen benötigen Sie möglicherweise keine Modellzusammenführung:

Wie konfiguriert man das Zusammenführen von Gewichtungen von Modellen

Der Standardwert von model_importance_score.fine_tuned_model ist 1,0, was bedeutet, dass beim Checkpoint für die Trainingsausgabe ausschließlich die fein abgestimmten Gewichte verwendet werden, ohne dass eine Mischung aus dem „Basismodell“ vorgenommen wird. Der Standardwert funktioniert gut, wenn deine Trainingsdaten umfassend sind und deiner Zielaufgabe sehr nahe kommen.

Du kannst steuern, wie das endgültige Modell ein Gleichgewicht zwischen Spezialisierung und Allgemeinwissen herstellt, indem du die Hyperparameter model_importance_score eingibst. Beispiel:

    training_config:
    # ...
      model_importance_score:
        fine_tuned_model: 0.75 # set value between 0.0 to 1.0 inclusive
        

model_importance_score.fine_tuned_modelBei Werten, die näher an 1,0 liegen, orientiert sich das Modell an Ihren fein abgestimmten Daten, während bei Werten, die näher an 0,0 liegen, mehr von den allgemeinen Funktionen des Basismodells erhalten bleiben. Im obigen Beispiel wird das endgültige trainierte Modell erstellt, indem das zu 75% auf dem jeweiligen Datensatz abgestimmte Modell mit 25% des „Basismodells“ zusammengeführt wird.

Wenn Sie feststellen, dass Ihr fein abgestimmtes Modell an allgemeinen Funktionen verliert (z. B. verminderte Leistung bei Aufgaben, die nicht in Ihren Trainingsdaten enthalten sind), reduzieren Sie diese, model_importance_score.fine_tuned_model um einen größeren Teil des Wissens aus dem „Basismodell“ einzubeziehen.

Wähle ein Modell, füge Gewichte zusammen

Der model_importance_score.fine_tuned_model Parameter steuert das Gleichgewicht zwischen Ihrem fein abgestimmten Modell und dem Basismodell. Beginnen Sie mit diesen Richtlinien:

Allgemeines Prinzip: Höhere Gewichtungen (näher an 1,0) maximieren die Leistung der Zielaufgabe, bergen jedoch die Gefahr, dass allgemeine Fähigkeiten verloren gehen. Bei niedrigeren Gewichtungen (näher an 0,0) bleiben die allgemeinen Fähigkeiten des Basismodells erhalten, die Spezialisierung wird jedoch verringert. Es gibt keinen allgemein optimalen Wert — die richtige Gewichtung hängt von der Größe Ihres Datensatzes, der Überschneidung der Bereiche mit dem Basismodell und den Funktionen ab, die Sie beibehalten müssen.

Evaluiere deine Gewichtung beim Zusammenführen

Evaluiere nach Abschluss des Trainings das zusammengeführte Modell, um sicherzustellen, dass das Merge-Gewicht angemessen ist. Du brauchst nicht mehrere Trainingsläufe — ein einziger Testdurchgang kann dir sagen, ob du dich anpassen musst.

So funktioniert das Zusammenführen: Feinabstimmung Full-rank

Full-rank Beim Training entsteht ein vollständiger Satz von Modellgewichten. Beim Zusammenführen wird jeder Parameter als gewichtete Mischung berechnet:

# Weighted interpolation
Merged Model = (1 - model_importance_score.fine_tuned_model) * Base Model + model_importance_score.fine_tuned_model * Fine-Tuned Model
        

Beispiel: Das zusammengeführte Modell besteht zu 70% aus „Basismodell“ -Wissen und zu 30% aus feinabgestimmtem Wissen. model_importance_score.fine_tuned_model = 0.3

So funktioniert das Zusammenführen: LoRa-Feinabstimmung

LoRa (Low-Rank Adaptation) lernt ein kompaktes Paar von Matrizen mit niedrigem Rang (A und B), die die Anpassung als Update mit niedrigem Rang darstellen. Während der Modellzusammenführung wird jede A- und B-LoRa-Matrix wie unten gezeigt um die Werte skaliert. model_importance_score.fine_tuned_model In diesen Formeln alpha ist das der LoRa-Skalierungsfaktor (peft.lora_tuning.alphain Ihrem Trainingsrezept) und der rank LoRa-Rang. Die verfügbaren alpha Werte finden Sie im LoRa SFT-Trainingsrezept.

Beachten Sie, dass die A- und B-Matrizen derzeit nur Informationen aus dem letzten Feinabstimmungslauf enthalten. Es sind keine Informationen über frühere Trainingsläufe vorhanden. Die Erkenntnisse aus früheren Trainingsläufen stammen aus der Zusammenführung von Modellen mit dem „Basismodell“ oder aus der unten beschriebenen Zusammenführung von LoRa-Adaptern in der vorherigen Phase.

Scaled_A = sqrt(model_importance_score.fine_tuned_model) * sqrt(alpha/rank) * A
Scaled_B = sqrt(model_importance_score.fine_tuned_model) * sqrt(alpha/rank) * B
        

Beim LoRa-Training entstehen zwei Modellartefakte: ein vollständig zusammengeführtes Modell und ein Satz zusammengeführter LoRa-Adapter. Schauen wir uns jeden von ihnen einzeln an.

Vollständig zusammengeführtes Modell

Das LoRa-Update wird skaliert und dem „Basismodell“ hinzugefügt:

Merged Model = Base Model + (Scaled_B @ Scaled_A)
        

Jetzt Merged Model hat das Wissen sowohl aus dem aktuellen Trainingslauf als auch etwas Wissen von der Base Model je nach Benutzer konfigurierten Version übernommen. model_importance_score.fine_tuned_model

Zusammengeführte LoRa-Adapter

Wie die LoRa-Adapter zusammengeführt werden, hängt davon ab, ob Sie ein einstufiges oder iteratives Training durchführen.

Diese zusammengeführten Adapter Merged_B Merged_A spiegeln den gesamten Trainingsverlauf wider und werden für Inferenzen auf Abruf verwendet.