Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon Nova-Anpassung auf SageMaker HyperPod

Sie können Amazon Nova-Modelle, einschließlich der erweiterten Amazon Nova 2.0-Modelle, mithilfe von Amazon Nova-Rezepten anpassen und sie auf Hyperpod trainieren. Ein Rezept ist eine YAML-Konfigurationsdatei, die SageMaker KI Details zur Ausführung Ihres Modellanpassungsjobs liefert. SageMaker HyperPod unterstützt zwei Arten von Diensten: Forge und Non-forge.

Hyperpod bietet Hochleistungsdatenverarbeitung mit optimierten GPU-Instances und Amazon FSx for Lustre-Speicher, robustes Monitoring durch Integration mit Tools wie flexiblem Checkpoint-Management zur iterativen Verbesserung TensorBoard, nahtlose Bereitstellung auf Amazon Bedrock für Inferenz und effizientes, skalierbares, verteiltes Training mit mehreren Knoten — all das arbeitet zusammen, um Unternehmen eine sichere, leistungsstarke und flexible Umgebung zu bieten, in der sie Amazon Nova-Modelle an ihre spezifischen Geschäftsanforderungen anpassen können.

Die Amazon Nova-Anpassung an SageMaker HyperPod speichert Modellartefakte, einschließlich Modell-Checkpoints, in einem vom Service verwalteten Amazon S3-Bucket. Artefakte im vom Service verwalteten Bucket werden mit Schlüsseln verschlüsselt. SageMaker AI-managed AWS KMS Service-managed Amazon S3-Buckets unterstützen derzeit keine Datenverschlüsselung mit vom Kunden verwalteten KMS-Schlüsseln. Sie können diesen Checkpoint-Standort für Bewertungsjobs oder Amazon-Bedrock-Inferenz verwenden.

Standardpreise können für Datenverarbeitungs-Instances, Amazon-S3-Speicher und FSx für Lustre gelten. Preisdetails finden Sie unter Hyperpod-Preise, Amazon S3-Preise und FSx for Lustre-Preise.

Berechnen Sie die Anforderungen für Amazon Nova 2-Modelle

In den folgenden Tabellen sind die Rechenanforderungen für Amazon Nova SageMaker HyperPod 2-Modelle sowie die Ausbildung von SageMaker KI-Jobs und Schulungen zusammengefasst.

Um Ihre Workflows zur Amazon Nova-Modellanpassung auf Hyperpod zu optimieren, folgen Sie diesen empfohlenen Best Practices für effizientes Training, Ressourcenmanagement und eine erfolgreiche Modellbereitstellung.

Bewährte Methoden für die Anpassung von Amazon Nova

-Übersicht

Dieser Abschnitt bietet einen Überblick über die Anpassungstechniken und hilft Ihnen bei der Auswahl des für Ihre Bedürfnisse und verfügbaren Daten am besten geeigneten Ansatzes.

Zwei Phasen der LLM-Ausbildung

Die Ausbildung nach dem Modell eines großen Sprachmodells besteht aus zwei Hauptphasen: vor und nach dem Training. Während des Vortrainings verarbeitet das Modell Rohtext-Token und optimiert diese für die Vorhersage des nächsten Tokens. Bei diesem Prozess entsteht ein Mustervervollständiger, der Syntax, Semantik, Fakten und Argumentationsmuster aus dem Internet und kuratiertem Text aufnimmt. Das vorab trainierte Modell versteht jedoch weder Anweisungen, Benutzerziele noch kontextgerechtes Verhalten. Es setzt den Text in dem Stil fort, der zu seiner Trainingsumgebung passt. Ein vortrainiertes Modell vervollständigt automatisch, anstatt den Anweisungen zu folgen, führt zu inkonsistenten Formatierungen und kann unerwünschte Verzerrungen oder unsichere Inhalte aus den Trainingsdaten widerspiegeln. Pre-training vermittelt allgemeine Kompetenz, nicht den Nutzen einer Aufgabe.

Post-training verwandelt den Mustervervollständiger in einen nützlichen Assistenten. Sie führen mehrere Runden von Supervised Fine-Tuning (SFT) durch, um dem Modell beizubringen, Anweisungen zu befolgen, Schemata und Richtlinien einzuhalten, Tools aufzurufen und zuverlässige Ergebnisse zu erzielen, indem hochwertige Demonstrationen nachgeahmt werden. Durch diese Ausrichtung lernt das Modell, auf Aufforderungen als Aufgaben zu reagieren und nicht als Text zum Fortfahren. Anschließend wenden Sie Verstärkung Fine-Tuning (RFT) an, um das Verhalten mithilfe von messbarem Feedback (z. B. durch Verifizierer oder an LLM-as-a-judge) zu optimieren und dabei Kompromisse wie Genauigkeit und Kürze, Sicherheit und Reichweite oder mehrstufiges Denken unter Einschränkungen abzuwägen. In der Praxis wechseln Sie SFT und RFT zyklisch ab, um aus dem vorab trainierten Modell ein zuverlässiges, richtlinienorientiertes System zu machen, das komplexe Aufgaben konsistent ausführt.

Wählen Sie den richtigen Anpassungsansatz

In diesem Abschnitt werden wir uns mit Anpassungsstrategien nach dem Training befassen: RFT und SFT.

Feinabstimmung der Verstärkung (RFT)

Eine verstärkte Feinabstimmung verbessert die Modellleistung durch Feedback-Signale — messbare Ergebnisse oder Belohnungen, die auf die Qualität der Antworten hinweisen — und nicht durch direkte Überwachung mit exakt richtigen Antworten. Im Gegensatz zur herkömmlichen überwachten Feinabstimmung, bei der aus Input-Output-Paaren gelernt wird, verwendet RFT Belohnungsfunktionen, um die Modellreaktionen zu evaluieren, und optimiert das Modell iterativ, um diese Belohnungen zu maximieren. Dieser Ansatz eignet sich gut für Aufgaben, bei denen die Definition der exakt richtigen Ausgabe eine Herausforderung darstellt, Sie aber die Qualität der Antwortvariablen zuverlässig messen können. RFT ermöglicht es Modellen, komplexe Verhaltensweisen und Präferenzen durch Ausprobieren und Feedback zu erlernen. Das macht sie ideal für Anwendungen, die eine differenzierte Entscheidungsfindung, kreative Problemlösung oder die Einhaltung bestimmter Qualitätskriterien erfordern, die Sie programmatisch auswerten können. Die Beantwortung komplexer rechtlicher Fragen ist beispielsweise ein idealer Anwendungsfall für RFT, da Sie dem Modell beibringen möchten, wie es besser argumentieren kann, um Fragen genauer zu beantworten.

Funktionsweise

Bei der Feinabstimmung von Verstärkungen gehen Sie von einer Grundlinie aus, die auf die Anweisungen abgestimmt ist, und behandeln jede Aufforderung wie ein kleines Turnier. Für eine bestimmte Eingabe wählen Sie eine Handvoll möglicher Antworten aus dem Modell aus, bewerten jede einzelne mit der Belohnungsfunktion und ordnen sie dann innerhalb dieser Gruppe ein. Durch den Aktualisierungsschritt wird das Modell so angepasst, dass Kandidaten mit höheren Punktzahlen beim nächsten Mal wahrscheinlicher und Kandidaten mit niedrigeren Punktzahlen weniger wahrscheinlich sind, während eine Beschränkung, die nahe am Ausgangswert bleibt, verhindert, dass das Verhalten abweicht oder ausführlich oder ausbeuterisch wird. Sie wiederholen diese Schleife über viele Eingabeaufforderungen hinweg, aktualisieren schwierige Fälle, verschärfen die Prüfer oder Richterrubriken, wenn Sie Exploits sehen, und verfolgen kontinuierlich die Aufgabenkennzahlen.

Wann sollte RFT verwendet werden

Aufgaben, die am meisten von RFT profitieren, haben mehrere Eigenschaften gemeinsam. Sie haben messbare Erfolgssignale, selbst wenn es schwierig ist, eine einzelne korrekte Ausgabe zu spezifizieren. Sie lassen eine Teilpunktzahl oder eine benotete Qualität zu, sodass Sie innerhalb einer Aufforderung oder mithilfe einer Belohnungsfunktion bessere und schlechtere Antworten einordnen können. Sie beinhalten mehrere Ziele, die ausgewogen sein müssen (z. B. Genauigkeit und Kürze, Klarheit, Sicherheit oder Kosten). Sie erfordern die Einhaltung expliziter Einschränkungen, die Sie programmgesteuert überprüfen können. Sie arbeiten in Umgebungen, die von Tools oder Umgebungen bereitgestellt werden, in denen die Ergebnisse beobachtbar sind (Erfolg oder Misserfolg, Latenz, Ressourcenverbrauch). Sie treten in Systemen auf, bei denen das Sammeln von Goldzielen teuer ist, automatisiertes oder rubrikbasiertes Feedback jedoch reichlich vorhanden ist. RFT funktioniert am besten, wenn Sie Qualität in einen zuverlässigen Skalar oder eine Rangfolge umwandeln können und möchten, dass das Modell Verhaltensweisen mit höheren Punktzahlen bevorzugt verstärkt, ohne dass Sie erschöpfende markierte Ziele benötigen.

Ziehen Sie andere Methoden in Betracht, wenn:

Wann sollte man RFT nicht verwenden

Vermeiden Sie RFT in diesen Situationen:

Wenn Sie auf die „richtige Antwort“ hinweisen können, verwenden Sie SFT. Wenn Sie neues Wissen benötigen, verwenden Sie RAG. Verwenden Sie RFT nur, wenn Sie über eine solide Ausgangsbasis und eine robuste, schnelle und schwer ausnutzbare Belohnungsfunktion verfügen.

Überwachte Optimierung (SFT)

Bei der überwachten Feinabstimmung wird der LLM anhand eines Datensatzes von Eingabe-Ausgabe-Paaren trainiert, die von Menschen für Ihre Aufgabe definiert wurden. Sie geben Beispiele für Aufforderungen (Fragen, Anweisungen usw.) mit den richtigen oder gewünschten Antworten an und setzen das Training des Modells anhand dieser Beispiele fort. Das Modell passt seine Gewichte an, um einen überwachten Verlust zu minimieren (in der Regel Kreuzentropie zwischen seinen Vorhersagen und den Ziel-Output-Token). Dabei handelt es sich um dasselbe Training, das bei den meisten beaufsichtigten Aufgaben des maschinellen Lernens zur Spezialisierung eines LLM verwendet wird.

SFT verändert das Verhalten, nicht das Wissen. Es bringt dem Model keine neuen Fakten oder Fachausdrücke bei, die es im Vortraining nicht gesehen hat. Es bringt dem Modell bei, wie es antworten muss, nicht, was es wissen soll. Wenn Sie neues Domänenwissen (z. B. interne Terminologie) benötigen, verwenden Sie Retrieval-Augmented Generation (RAG), um diesen Kontext zum Zeitpunkt der Inferenz bereitzustellen. SFT fügt dann das gewünschte Verhalten bei der Befolgung von Anweisungen hinzu.

Funktionsweise

SFT optimiert LLM, indem es den durchschnittlichen Kreuzentropieverlust bei Antwort-Token minimiert, Prompt-Token als Kontext behandelt und sie vor dem Verlust verbirgt. Das Modell verinnerlicht Ihren Zielstil, Ihre Struktur und Ihre Entscheidungsregeln und lernt, für jede Aufforderung die richtige Vervollständigung zu generieren. Um Dokumente beispielsweise in benutzerdefinierte Kategorien zu klassifizieren, optimieren Sie das Modell mithilfe von Aufforderungen (dem Dokumenttext) und beschrifteten Abschlüssen (den Kategorienbezeichnungen). Sie trainieren mit diesen Paaren, bis das Modell mit hoher Wahrscheinlichkeit für jede Aufforderung die richtige Bezeichnung ausgibt.

Sie können SFT mit nur ein paar hundert Beispielen ausführen und auf einige hunderttausend skalieren. SFT-Proben müssen von hoher Qualität sein und direkt auf das gewünschte Modellverhalten abgestimmt sein.

Wann sollte SFT verwendet werden

Verwenden Sie SFT, wenn Sie eine klar definierte Aufgabe mit klaren gewünschten Ergebnissen haben. Wenn Sie explizit angeben können: „Bei gegebener X-Eingabe ist die richtige Ausgabe Y“ und Beispiele für solche Zuordnungen sammeln, ist eine überwachte Feinabstimmung eine gute Wahl. SFT zeichnet sich in diesen Szenarien aus:

SFT ist der direkteste Weg, einem LLM eine neue Fähigkeit oder ein neues Verhalten beizubringen, wenn Sie angeben können, wie das richtige Verhalten aussieht. Es nutzt das bestehende Sprachverständnis des Modells und konzentriert es auf Ihre Aufgabe. Verwenden Sie SFT, wenn Sie möchten, dass das Modell eine bestimmte Aufgabe erfüllt und Sie einen Datensatz mit Beispielen haben oder erstellen können.

Verwenden Sie SFT, wenn Sie qualitativ hochwertige Prompt- und Response-Paare zusammenstellen können, die das gewünschte Verhalten genau widerspiegeln. Es eignet sich für Aufgaben mit klaren Zielen oder deterministischen Formaten wie Schemas, Funktions- oder Toolaufrufen sowie für strukturierte Antworten, bei denen Nachahmung ein geeignetes Trainingssignal ist. Das Ziel besteht in der Verhaltensformung: dem Modell beizubringen, Aufforderungen als Aufgaben zu behandeln, Anweisungen zu befolgen, Tonfall und Ablehnung anzuwenden und für eine einheitliche Formatierung zu sorgen. Planen Sie mindestens Hunderte von Demonstrationen ein, wobei Datenqualität, Konsistenz und Deduplizierung wichtiger sind als das reine Volumen. Verwenden Sie für ein unkompliziertes, kosteneffizientes Update parametereffiziente Methoden wie Low-Rank Adaptation, um kleine Adapter zu trainieren und dabei den Großteil des Backbones unangetastet zu lassen.

Wann sollte SFT nicht verwendet werden

Verwenden Sie SFT nicht, wenn die Lücke eher im Wissen als im Verhalten besteht. Es vermittelt dem Modell keine neuen Fakten, Fachjargon oder aktuelle Ereignisse. Verwenden Sie in diesen Fällen die Generierung durch Abruf, um externes Wissen abzuleiten. Vermeiden Sie SFT, wenn Sie die Qualität messen können, aber keine einzige richtige Antwort benennen können. Verwenden Sie die Feinabstimmung der Verstärkung mit überprüfbaren Prämien oder optimieren Sie diese Prämien direkt. LLM-as-a-judge Wenn sich Ihre Anforderungen oder Inhalte häufig ändern, sollten Sie sich auf das Abrufen und den Einsatz von Tools verlassen, anstatt das Modell erneut zu trainieren.