Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
FFT
FFT (Full Fine-Tuning) aktualisiert alle Modellgewichte während des Trainings. Dies bietet ein Höchstmaß an Anpassungsmöglichkeiten, erfordert jedoch mehr Rechenressourcen und eine längere Trainingszeit.
Wann sollte FFT verwendet werden
Große Domänenverschiebungen, bei denen das Modell grundlegende Wissensänderungen erfordert
Sie verfügen über einen großen, qualitativ hochwertigen Datensatz (bei kleinen Datensätzen besteht die Gefahr, dass Sie sie vergessen)
Sie möchten bei der Inferenz keinen Adapter-Overhead
Eine maximale Anpassungstiefe ist erforderlich
Hauptunterschiede zu LoRa
Nein
lora_ranklora_alpha, oder Parametermerge_weightsFügt einen
max_response_lengthParameter zur Steuerung der generierten Ausgabelänge hinzuHöhere Rechenkosten und längere Trainingszeit
Größere Ausgabeartefakte (volle Modellgewichte)
Nicht kompatibel mit kontinuierlicher Anpassung
Die vollständige Parameterreferenz einschließlich FFT-specific Hyperparametern finden Sie auf den einzelnen Technikseiten:SFT,DPO,RFT.
