Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Fortgesetztes Vortraining (CPT)
Continued Pre-Training (CPT) ist eine Trainingstechnik, die die Vortrainingsphase eines Grundmodells verlängert, indem es mit zusätzlichem unbeschriftetem Text aus bestimmten Bereichen oder Korpora konfrontiert wird. Im Gegensatz zur überwachten Feinabstimmung, bei der beschriftete Eingabe-Ausgabe-Paare erforderlich sind, trainiert CPT anhand von Rohdokumenten, um dem Modell zu helfen, tiefere Kenntnisse in neuen Bereichen zu erwerben, domänenspezifische Terminologie und Schreibmuster zu erlernen und sich an bestimmte Inhaltstypen oder Fachgebiete anzupassen.
Dieser Ansatz ist besonders nützlich, wenn Sie über große Mengen (zig Milliarden von Tokens) an domänenspezifischen Textdaten verfügen, z. B. juristische Dokumente, medizinische Fachliteratur, technische Dokumentation oder firmeneigene Geschäftsinhalte, und Sie möchten, dass das Modell diese Domäne fließend beherrscht. In der Regel muss das Modell nach der CPT-Phase weiteren Schritten zur Optimierung der Anweisungen unterzogen werden, damit das Modell das neu gewonnene Wissen nutzen und nützliche Aufgaben erledigen kann.
Wann sollte CPT verwendet werden
Verwenden Sie CPT, wenn Sie dem Modell domänenspezifisches Wissen vermitteln müssen, das in den ursprünglichen Trainingsdaten nicht gut dargestellt ist. CPT ist ideal, wenn:
-
Sie haben große Mengen an domänenspezifischen Texten (juristische, medizinische, technische oder urheberrechtlich geschützte Inhalte)
-
Sie möchten, dass das Modell die Fachterminologie und Schreibmuster Ihrer Muttersprache fließend beherrscht
-
Ihr Anwendungsfall erfordert Standardsprachenkenntnisse ohne fortgeschrittene Argumentation
Unterstützte Modelle
CPT ist für die folgenden Amazon Nova-Modelle verfügbar:
-
Nova 1.0 (Micro, Lite, Pro)
-
Nova 2.0 (Leicht)
Wann sollte Nova 1.0 im Vergleich zu Nova 2.0 verwendet werden
Die Amazon Nova-Modellfamilie bietet mehrere Preis-Leistungs-Betriebspunkte zur Optimierung zwischen Genauigkeit, Geschwindigkeit und Kosten.
Wählen Sie Nova 2.0, wenn Sie Folgendes benötigen:
-
Erweiterte Argumentationsfunktionen für komplexe analytische Aufgaben
-
Überragende Leistung in den Bereichen Programmieren, Mathematik und wissenschaftliche Problemlösung
-
Unterstützung für längere Kontextlängen
-
Bessere mehrsprachige Leistung
Wählen Sie Nova 1.0, wenn:
-
Sie möchten eine Optimierung durchführen, um geringere Schulungs- und Inferenzkosten zu erzielen
-
Ihr Anwendungsfall erfordert ein Standardsprachverständnis ohne fortgeschrittene Argumentation
-
Sie haben die Leistung auf Nova 1.0 bereits validiert und benötigen keine zusätzlichen Funktionen
Anmerkung
Das größere Modell ist nicht immer besser. Berücksichtigen Sie bei der Auswahl zwischen den Modellen Nova 1.0 und Nova 2.0 den Kompromiss zwischen dem Preis-Leistungs-Verhältnis und Ihren spezifischen Geschäftsanforderungen.
