Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Amazon Nova Forge
Amazon Nova Forge ist ein first-of-its-kind Service, der Unternehmen die einfachste und kostengünstigste Möglichkeit bietet, mithilfe von Nova ihre eigenen Grenzmodelle zu erstellen.
Amazon Nova Forge führt das Konzept der „offenen Trainingsmodelle“ ein, die Unternehmen Zugriff auf eine Vielzahl von frühen Modell-Checkpoints und die Möglichkeit bieten, in jeder Phase des Modelltrainings proprietäre Daten mit von Amazon kuratierten Datensätzen zu kombinieren. Dadurch können die Modelle das Lernen aus firmeneigenen Daten maximieren und gleichzeitig das Risiko minimieren, dass grundlegende Fähigkeiten wie Argumentation vergessen werden.
Nova Forge bietet die folgenden Hauptfunktionen:
+ Greifen Sie in allen Phasen der Modellentwicklung auf Checkpoints zu und nutzen Sie neue Nova-Modelle, bevor sie allgemein verfügbar sind
+ Kombinieren Sie Ihre eigenen Daten mit von Amazon Nova kuratierten Trainingsdaten
+ Führen Sie Reinforcement-Learning mit Belohnungsfunktionen in Ihrer Umgebung durch
+ Verwenden Sie Rezepte auf Knopfdruck, die für die Erstellung mit Nova über visuelle Workflows oder eine Befehlszeilenschnittstelle optimiert sind
+ Verwenden Sie das Responsible AI Toolkit, um Modelle während des Trainingsprozesses an den Richtlinien für verantwortungsvolle KI von Amazon Nova auszurichten und Laufzeitkontrollen zu implementieren, um die Modellreaktionen während der Inferenz zu moderieren.
## Voraussetzungen
**Topics**
+ [
### Abonnieren Sie Nova Forge
](#nova-forge-prereq-access)
+ [
### Andere Voraussetzungen
](#nova-forge-prereq-other)
### Abonnieren Sie Nova Forge
Um Zugriff auf den Amazon Nova Forge-Service zu beantragen, fügen Sie Ihrer Konsolen-IAM-Rolle das folgende Tag hinzu: key forge-subscription mit dem Wert true. Nachdem Sie dieses Tag zu Ihrer Rolle hinzugefügt haben, gehen Sie bitte zu SageMaker AI Console > Modelltraining und -anpassung und klicken Sie auf Nova Forge. Auf dieser Seite finden Sie Einzelheiten zum Service, Preisinformationen und Funktionen. Auf dieser Seite können Sie ein Abonnement anfordern und dann Ihr Abonnement verwalten.
1. Die Rolle sollte berechtigt sein, die API aufzurufen`ListAttachedRolePolicy`, und die Antwort sollte entweder eine `AmazonSageMakerFullAccess` Richtlinie `AdministratorAccess` oder enthalten.
1. Die Anmelderolle sollte die Erlaubnis haben, die API aufzurufen`ListRoleTags`, und die Antwort-Tags sollten Folgendes enthalten: `tag.key=forge-subscription`
### Andere Voraussetzungen
Stellen Sie außerdem sicher, dass die folgenden Voraussetzungen erfüllt sind:
1. [Allgemeine Voraussetzungen](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model.html#nova-model-general-prerequisites)
1. Zusätzliche Schritte für Benutzer: Fügen Sie Ihrem SageMaker HyperPod Cluster eine eingeschränkte Instanzgruppe (RIG) hinzu (um die folgenden Schritte [abzuschließen](https://docs.aws.amazon.com//sagemaker/latest/dg/nova-hp-cluster.html))
# Zugang und Einrichtung von Nova Forge
Gehen Sie wie folgt vor, um bei Nova Forge einzusteigen:
+ Schritt 1: Abonnieren Sie Nova Forge
+ Schritt 2: HyperPod Infrastruktur einrichten
## Abrufen der Nova Forge-Dokumente
Gehen Sie wie folgt vor, um die Nova Forge-Dokumente zu erhalten:
```
mkdir NovaForgeHyperpodCLI
cd NovaForgeHyperpodCLI
aws s3 cp s3://nova-forge-c7363-206080352451-us-east-1/v1/ ./ --recursive
pip install -e .
```
## Schritt 1: Abonnieren Sie Nova Forge
### Kurze Zusammenfassung:
1. Stellen Sie sicher, dass Sie Administratorzugriff auf das Amazon Web Services Services-Konto haben.
1. Navigieren Sie zur SageMaker AI-Konsole und fordern Sie Zugriff auf Nova Forge an.
1. Warten Sie, bis das Nova-Team eine Bestätigung per E-Mail sendet, nachdem Ihre Abonnementanfrage genehmigt wurde.
1. Kennzeichnen Sie Ihre Ausführungsrolle mit dem `forge-subscription` Tag. Dieses Tag ist erforderlich, um auf die Funktionen und Checkpoints von Nova Forge zuzugreifen. Fügen Sie Ihrer Ausführungsrolle das folgende Tag hinzu:
+ Schlüssel: `forge-subscription`
+ Wert: `true`
### Ausführlicher Leitfaden
Um Nova Forge zu abonnieren und den Anpassungsservice effektiv zu nutzen, muss ein Kunde von Amazon Web Services über Administratorzugriff auf sein Amazon Web Services Services-Konto verfügen oder sich von seinem Administrator Administratorzugriff gewähren lassen. In diesem Dokument werden die Schritte beschrieben, die erforderlich sind, um:
+ Sicherer Administratorzugriff
+ Richten Sie Richtlinien ein, um Nova Forge zu abonnieren
+ Greife auf Anpassungsrezepte zu
+ Passen Sie die Anpassung an
+ Überwachen Sie den Arbeitsablauf
+ Evaluieren Sie den Checkpoint für das benutzerdefinierte Modell
### Option A
Ablauf 1: Der Kontobenutzer muss sich an den Kontoadministrator wenden, um Folgendes anzufordern:
+ Fügen Sie das `forge-subscription` Tag über IAM zum Konto hinzu (die Schritte finden Sie in Anhang A).
+ Fügen Sie die `ListRoleTags` und `ListAttachedRolePolicies` -Berechtigungen über IAM hinzu (die Schritte finden Sie in Anhang B).
![\[alt text not found\]](http://docs.aws.amazon.com/de_de/nova/latest/nova2-userguide/images/Onboarding-option-a.png)
### Option B
Ablauf: Der Kontonutzer muss sich an den Kontoadministrator wenden, um Administratorzugriff auf das Konto anzufordern.
+ Sobald der Administratorzugriff gewährt wurde, befolge die Schritte in Flow 2.
### Flow 2. Amazon Web Services Services-Konto mit Administratorzugriff
+ Fügen Sie dem Konto über IAM das Forge-Abonnement-Tag hinzu. Die Schritte finden Sie in Anhang A
### Anhang A. Forge-Abonnement-Richtlinie zum Amazon Web Services Services-Konto hinzufügen
1. Gehen Sie zum Amazon Web Services IAM-Dashboard. Klicken Sie links auf Rollen. Suchen Sie nach Admin und klicken Sie auf die Admin-Rolle
![\[alt text not found\]](http://docs.aws.amazon.com/de_de/nova/latest/nova2-userguide/images/add-forge-sub-policy.png)
1. Wählen Sie < AssumedRoleToUse > (z. B. libsAdminAccess). Klicken Sie auf den Tab „Tags“.
![\[alt text not found\]](http://docs.aws.amazon.com/de_de/nova/latest/nova2-userguide/images/add-forge-sub-policy-2.png)
1. Klicken Sie auf Tabs verwalten. Füge ein neues Tag hinzu. Geben Sie unter Schlüssel „forge-subscription“ ein und klicken Sie auf Änderungen speichern
![\[alt text not found\]](http://docs.aws.amazon.com/de_de/nova/latest/nova2-userguide/images/add-forge-sub-tag-policy.png)
1. Stellen Sie sicher, dass Sie Forge-Subscription als Schlüssel im Abschnitt Tags sehen
![\[alt text not found\]](http://docs.aws.amazon.com/de_de/nova/latest/nova2-userguide/images/forge-tag-policy-verify.png)
### Anhang B. Hinzufügen ListRoleTags von ListAttachedPolicies Richtlinien zum Amazon Web Services Services-Konto für die Rolle ohne Administratorrechte durch den Administrator
1. Gehen Sie zum Amazon Web Services IAM-Dashboard. Klicken Sie links auf Rollen. Suchen Sie nach < AssumedRoleToUse > (z. B. ForgeAccessRole) und klicken Sie auf die Rolle < AssumedRoleToUse > (z. B. ForgeAccessRole)
![\[alt text not found\]](http://docs.aws.amazon.com/de_de/nova/latest/nova2-userguide/images/forge-list-tags-policy.png)
1. Klicken Sie auf die Rolle < AssumedRoleToUse > (z. B. ForgeAccessRole) und wählen Sie Tags aus. Füge ein neues Tag mit dem Typ „forge-subscription“ hinzu
![\[alt text not found\]](http://docs.aws.amazon.com/de_de/nova/latest/nova2-userguide/images/forge-tag-appendix.png)
1. Fügen Sie unter Berechtigungen eine neue Berechtigung hinzu: Berechtigungen hinzufügen → Inline-Richtlinie erstellen → Fügen Sie die folgende unten aufgeführte Richtlinie hinzu
```
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "VisualEditor0",
"Effect": "Allow",
"Action": [
"iam:ListRoleTags",
"iam:ListAttachedRolePolicies"
],
"Resource": "*"
}
]
}
```
![\[alt text not found\]](http://docs.aws.amazon.com/de_de/nova/latest/nova2-userguide/images/forge-add-tag-polices-example.png)
## Schritt 2. HyperPod Infrastruktur einrichten
Richten Sie die erforderliche Infrastruktur ein, indem Sie den [Workshop-Anweisungen](https://catalog.us-east-1.prod.workshops.aws/workshops/dcac6f7a-3c61-4978-8344-7535526bf743/en-US) zur Konfiguration der Umgebung mit Forge-fähigen Funktionen folgen.
## Einstellungen für die Inhaltsmoderation
Wenn Sie Zugriff auf Nova Forge benötigen, sind anpassbare Inhaltsmoderationseinstellungen (CCMS) für die Modelle Amazon Nova Lite 1.0 und Pro 1.0 verfügbar. CCMS ermöglicht die Anpassung der Kontrollen für die Inhaltsmoderation an spezifische Geschäftsanforderungen und gewährleistet gleichzeitig grundlegende verantwortungsvolle KI-Schutzmaßnahmen. Um festzustellen, ob ein Geschäftsmodell für CCMS geeignet ist, wenden Sie sich an einen Account Manager. AWS
Weitere Informationen zur Konfiguration und Verwendung von CCMS mit benutzerdefinierten Modellen finden Sie im Abschnitt [Responsible AI Toolkit und Inhaltsmoderation](nova-responsible-ai-toolkit.md).
# Fortsetzung des Vortrainings und der Trainingsmitte
**Anmerkung**
Eine ausführliche Dokumentation wird nach dem Abonnieren zur Verfügung gestellt
Nova Forge CPT bietet erweiterte Funktionen, die über das Standard-CPT hinausgehen, darunter den Zugriff auf zwischengeschaltete Checkpoints und die Datenmischung mit dem Nova-Vortrainingskorpus. Diese Funktionen ermöglichen eine effizientere Domänenanpassung und eine bessere Erhaltung der allgemeinen Fähigkeiten des Modells.
## Was sind Zwischenkontrollpunkte und warum werden sie benötigt?
Zwischenprüfpunkte sind Schnappschüsse des Amazon Nova-Modells, die in verschiedenen Phasen der Vorschulung gespeichert wurden, bevor das Modell seinen endgültigen produktionsreifen Zustand erreicht. Während der Modellentwicklung durchläuft Amazon Nova mehrere Schulungsphasen: anfängliches Vortraining mit konstanter Lernrate, Erhöhung der Lernrate, Schulung zur Kontexterweiterung und schließlich Schulung zur Ausrichtung und Sicherheit nach Anweisungen. Bei CPT sind zwischengeschaltete Checkpoints oft dem finalen Prod-Checkpoint vorzuziehen, da sie plastischer und empfänglicher für Domainanpassungen sind. Der Prod-Checkpoint wurde einem umfassenden Angleichungs- und Sicherheitstraining unterzogen, bei dem die Anweisungen befolgt wurden. Dadurch wurde das Modell zwar für den allgemeinen Gebrauch in Konversationen optimiert, es ist jedoch möglicherweise resistent gegen das Erlernen neuer domänenspezifischer Muster während der CPT. Im Gegensatz dazu behalten Checkpoints, die nur teilweise oder vollständig vortrainierten Text enthalten, die Merkmale des Modells vor dem Training bei. Sie wurden nicht stark auf bestimmte Verhaltensweisen ausgerichtet, was sie zu effizienteren Ausgangspunkten für die Domänenanpassung macht. Bei der Durchführung umfangreicher CPT (>10B-Token) führt der Start von zwischengeschalteten Checkpoints in der Regel zu einer schnelleren Konvergenz, einer besseren Trainingsstabilität und einem effektiveren Erwerb von Fachwissen. Für CPT in kleinem Maßstab (<10 B-Token) oder wenn die Fähigkeit zur Befolgung von Anweisungen beibehalten werden muss, ist der Prod-Checkpoint jedoch möglicherweise besser geeignet, da er eine Domänenanpassung ermöglicht und gleichzeitig die Konversationsfähigkeit des Modells beibehält.
Für CPT sind mehrere Zwischenprüfpunkte erforderlich, da sie unterschiedliche Ebenen der Modellplastizität bieten, die beeinflussen, wie effizient das Modell neues Domänenwissen aufnehmen kann. Der letzte Prod-Checkpoint wurde einem umfassenden Angleichungs- und Sicherheitstraining unterzogen. Dadurch wurde er für allgemeine Konversationszwecke optimiert, ist aber resistent gegen das Erlernen neuer domänenspezifischer Muster. Mit anderen Worten, er wurde nach dem Training noch weiter verschärft. Im Gegensatz dazu haben frühere Checkpoints die Merkmale des Modells vor dem Training beibehalten und waren nicht stark auf bestimmte Verhaltensweisen ausgerichtet, wodurch sie plastischer und empfänglicher für Domänenanpassungen wurden.
Um die beste Trainingseffizienz zu erreichen, sind mehrere Zwischenkontrollpunkte vorgesehen.
## Welche Checkpoints sind verfügbar?
**Nova 2.0**
Es gibt drei Amazon Nova Lite 2.0-Checkpoints.
+ VORTRAINIERT — [`nova-lite-2/pretraining-text-RD`]: Dies ist der Checkpoint nach der konstanten Lernrate und den Ramp-Down-Phasen der Amazon Nova-Vorschulung, bei der das Modell mit Billionen von Tokens trainiert wird.
+ MITTELTRAINIERT — [`nova-lite-2/pretraining-text-CE`]: Dieser Checkpoint ermöglicht die Einführung von Zwischenmengen unstrukturierter Daten mit einer konservativeren Lernrate als vor dem Training, wodurch domänenspezifisches Wissen aufgenommen und gleichzeitig katastrophales Vergessen vermieden wird.
+ POST-TRAINED — [`nova-lite-2/prod`]: Dies ist der vollständig abgestimmte letzte Prüfpunkt des Modells, das alle zugehörigen Schritte und Schritte nach der Schulung durchlaufen hat.
In der folgenden Tabelle werden die verschiedenen Bedingungen für die Dauer des Trainings vor und während des Trainings näher erläutert.
| Datentyp | Durchführen | Mit Checkpoint |
| --- |--- |--- |
| Umfangreiche unstrukturierte Domain-Rohdaten (Dokumente, Protokolle, Artikel, Code usw.) | Fortsetzung der Vorschulung | Vortrainiert |
| Umfangreiche unstrukturierte Domain-Rohdaten (Dokumente, Protokolle, Artikel, Code usw.) | Mitten im Training | Vortrainiert |
| Kleinere Mengen unstrukturierter Rohdaten. Spuren strukturierter Argumentationen/CoT-Daten | Mitten im Training | Mitten trainiert |
| Strukturierte Demonstrationen (hochwertige Input-Output-Paare, kuratierte Aufgabenanweisungen, Multi-Turn-Dialoge) | Vollständige Feinabstimmung | Mittelmäßig trainiert |
| Strukturierte Demonstrationen (hochwertige Input-Output-Paare, kuratierte Aufgabenanweisungen, Multi-Turn-Dialoge) | Effiziente Feinabstimmung der Parameter | Nach dem Training |
## Welcher Checkpoint soll verwendet werden?
Checkpoints mit nur teilweise vortrainiertem Text und vollständig vortrainiertem Nur-Text-Checkpoint laufen in der Regel schneller zusammen und erfordern weniger Trainingsschritte für die Domänenanpassung. Sie verfügen jedoch nicht über eine Anpassung der Anweisungen und müssten nach dem Training weitere Schritte durchlaufen, um nützliche Aufgaben ausführen und Anweisungen befolgen zu können. Der GA-Checkpoint erfordert möglicherweise mehr Anpassungsschritte, bietet jedoch einen sichereren Ausgangspunkt für Experimente in kleinem Maßstab und bietet auch nach der CPT-Schulung einige seiner Funktionen nach dem Training.
Im Allgemeinen sollten Sie bei großen Trainingsdatensätzen (>10B-Token) mit Checkpoints beginnen, die nur teilweise oder nur vollständig vortrainierten Text enthalten, um ein effizienteres und stabileres Training zu erreichen, da die Wissensbasis des Modells erheblich verändert wird. Verwenden Sie bei kleinen Datensätzen (<10 B-Tokens) den GA-Checkpoint, um die Funktionen zur Befolgung von Anweisungen beizubehalten und sich gleichzeitig an die Domäne anzupassen.
## Wie verwendet man das Mischen von Daten für Nova 2.0?
Bei der Durchführung von CPT mit neuen Domänendaten ist es äußerst vorteilhaft, die neuen Daten mit einigen der Daten zu kombinieren, die zuvor in der Vortrainingsphase des Modells verwendet wurden. Das Mischen alter Daten mit neuen Domänendaten löst zwei Probleme:
+ Kontrolle vergessen: Verhindert katastrophales Vergessen, indem vorhandene Fähigkeiten und Kenntnisse über das Modell erhalten bleiben. Ohne Datenmischung führt ein Training ausschließlich mit eng begrenzten Domänendaten dazu, dass das Modell allgemeine Funktionen überschreibt. Beispielsweise kann ein Modell, das nur anhand von Rechtsdokumenten trainiert wurde, seine Fähigkeit zum Programmieren oder Rechnen verlieren. Durch das Mischen der Datensätze für allgemeine Bereiche bleiben diese allgemeinen Fähigkeiten erhalten, während gleichzeitig das neue Fachgebiet erworben wird.
+ Optimierungsstabilität: Die Stabilität des Trainings wird aufrechterhalten, indem die internen Repräsentationen des Modells verankert werden. Während der CPT werden die erlernten Merkmale des Modells modifiziert, und die Datenmischung sorgt für Gradienten aus verschiedenen Quellen, die für eine reibungslose Anpassung sorgen. Ohne sie kann das Training mit engen Verteilungen zu Instabilität der Gradienten führen, sodass sich die Repräsentationen des Modells zu drastisch verschieben, was zu Trainingsdivergenz, Verlustspitzen oder zum Zusammenbruch vorhandener Fähigkeiten führt. Das ist der Kompromiss zwischen Stabilität und Plastizität: Das Modell sollte plastisch genug sein, um neues Fachwissen zu erlernen, aber stabil genug, um das, was es bereits weiß, nicht kaputt zu machen.
**Funktionen zum Mischen von Daten in Nova CPT**
Der Zugriff auf Amazon Nova-Daten und Checkpoints vor dem Training ist eines der Kernangebote der Amazon Nova CPT-Anpassung. Die CPT-Anpassung von Amazon Nova ermöglicht das einfache Mischen von Domaindaten mit dem Vortrainingskorpus von Amazon Nova. Darüber hinaus kann das Stichprobenverhältnis der spezifischen Amazon Nova-Datenkategorien (z. B. Code, Mathematik, Argumentation usw.) geändert und ihre Proportionen so gesteuert werden, dass sie die Domaindaten ergänzen. Dies ermöglicht die Stärkung der Funktionen, die auf den Anwendungsfall abgestimmt sind, und gleichzeitig das Modell an die spezifische Domäne anzupassen.
**Finden des optimalen Mischungsverhältnisses**
Das optimale Verhältnis von Amazon Nova-Daten zu Domaindaten hängt von der Domäne, Komplexität, Größe, Qualität und der Bedeutung der Aufrechterhaltung allgemeiner Funktionen des Datensatzes ab. Dieses Verhältnis muss durch Experimente herausgefunden werden. Ein Versuchsrahmen, um zu entscheiden, wie viele Amazon Nova-Daten gemischt werden sollen, sieht wie folgt aus.
Wählen Sie eine repräsentative Teilmenge von Domänendaten (z. B. 5B-Token) aus und halten Sie diese bei allen Versuchsläufen konstant.
Führen Sie kleine CPT-Experimente durch, bei denen nur die Menge der eingemischten Amazon Nova-Daten variiert wird:
+ Keine Vermischung: 100% Domäne → Nur 5B-Domäne (insgesamt 5B)
+ Lichtmischung: 90% Domäne → 5B-Domäne \$1 \$10,56 B Amazon Nova (insgesamt \$15,56 B)
+ Mittlere Mischung: 70% Domäne → 5B-Domäne \$1 \$12,14 B Amazon Nova (insgesamt \$17,14 B)
+ Starke Vermischung: 50% Domäne → 5B-Domäne \$1 5B Amazon Nova (insgesamt 10B)
Bewerten Sie jeden Checkpoint anhand von Domain-Benchmarks und allgemeinen Domain-Benchmarks. Evaluieren Sie auch den Startkontrollpunkt (Amazon Nova-Checkpoint vor jedem Training).
+ Bleibt die Leistung der Kundendomäne bei allen Durchläufen ungefähr konstant? In der Regel sollte dies der Fall sein, da bei jedem Lauf dieselbe Anzahl von Domain-Tokens verwendet wurde. Wenn sich die Domain-Performance bei stärkerer Vermischung verbessert, bieten Amazon Nova-Daten eine nützliche Regularisierung.
+ Verbessern sich die allgemeinen Benchmark-Werte, wenn die Mischung zunimmt?
+ Das erwartete Verhalten ist, dass sich die allgemeinen Funktionen monoton verbessern sollten, wenn mehr Amazon Nova-Daten hinzugefügt werden.
+ Messen Sie mehrere allgemeine Benchmarks: MMLU (Allgemeinwissen), HumanEval (Kodierung), GSM8 K (Mathematik) oder spezifische Benchmarks von Interesse.
+ Wählen Sie das Mischungsverhältnis, das die Domänenleistung beibehält und gleichzeitig akzeptable allgemeine Funktionen für die jeweiligen Anwendungsfälle bietet. Berücksichtigen Sie die zusätzlichen Kosten für Schulungen, wenn mehr Daten gemischt werden.
Sobald das optimale Mischungsverhältnis ermittelt wurde, führen Sie CPT in voller Größe aus und verwenden dabei den vollständigen Domänendatensatz mit dem ausgewählten Mischungsverhältnis.
## Analyse der Datenmischungskategorien
Im Folgenden analysieren wir jede verfügbare Kategorie in Data Mixing, damit Sie am besten entscheiden können, welche Datenkategorien in Ihrer gesamten Datenmischung am sinnvollsten sind.
### Wie aktiviert man das Mischen von Daten
Fügen Sie Ihrem Rezept den `data_mixing` Abschnitt mit der entsprechenden prozentualen Verteilung auf die Datensatzkategorien hinzu. Die Summe der `nova_data` Prozentsätze muss 100 ergeben.
#### Nova 2.0-Konfiguration mit Datenmischung
```
# Note:
# This recipe can run on p5.48xlarge
# Run config
display_name: "Nova Lite Pretrain on P5 GPU"
versions: ["2.0"]
instance_types: ["ml.p5.48xlarge"]
run:
name: "my-cpt-run" # A descriptive name for your training job
model_type: "amazon.nova-2-lite-v1:0:256k" # Model variant specification, do not change
model_name_or_path: "nova-lite-2/prod" # Base model path, do not change
replicas: 8 # Number of compute instances for training, allowed values are 4, 8, 16, 32
data_s3_path: "" # Customer data paths
validation_data_s3_path: "" # Customer validation data paths
output_s3_path: "" # Output artifact path, SageMaker HyperPod job-specific configuration - not compatible with standard SageMaker Training jobs
## Training specific configs
training_config:
task_type: cpt
max_length: 8192 # Maximum context window size (tokens)
global_batch_size: 64 # Global batch size, allowed values are 32, 64, 128, 256.
trainer:
max_steps: 10 # The number of training steps to run total
val_check_interval: 10 # The number of steps between running validation
limit_val_batches: 2 # Batches of the validation set to use each trigger
model:
hidden_dropout: 0.0 # Dropout for hidden states, must be between 0.0 and 1.0
attention_dropout: 0.0 # Dropout for attention weights, must be between 0.0 and 1.0
optim:
optimizer: adam
lr: 1e-5 # Learning rate
name: distributed_fused_adam # Optimizer algorithm, do not change
adam_w_mode: true # Enable AdamW mode
eps: 1e-06 # Epsilon for numerical stability
weight_decay: 0.0 # L2 regularization strength, must be between 0.0 and 1.0
adam_beta1: 0.9 # Beta1 for Adam optimizer
adam_beta2: 0.95 # Beta2 for Adam optimizer
sched:
warmup_steps: 10 # Learning rate warmup steps
constant_steps: 0 # Steps at constant learning rate
min_lr: 1e-6 # Minimum learning rate, must be lower than lr
data_mixing:
dataset_catalog: cpt_text_lite
sources:
nova_data: # percent inputs for Nova data must sum to 100%; use 0% if you want to exclude a data grouping
agents: 20
business-and-finance: 4
scientific: 10
code: 5
factual-and-news: 5
longform-text: 6
health-and-medicine: 1
humanities-and-education: 1
legal: 1
math: 9
additional-languages: 15
social-and-personal-interest: 11
entertainment: 0.5
reasoning: 10
other: 0.5
tables: 1
customer_data: # percent input of customer data. 100 = use only customer data, 0 = use only the nova_data mix above
percent: 25
```
**Was bedeuten diese Kategorien**
**Hinweis**: Nova 2.0 enthält zusätzliche Kategorien, die für das Denken spezifisch sind (z. B.`reasoning-code`,`reasoning-math`,`reasoning-instruction-following`), die in Nova 1.0 nicht verfügbar sind.
Zusammenfassung der Kategorien und Informationsbeschriftungen:
| Name der Kategorie | Einzelheiten der Informationen |
| --- | --- |
| agents | Die Trainingsdaten konzentrierten sich auf autonome Entscheidungsfindung, Aufgabenerfüllung und zielorientiertes Verhalten in KI-Systemen |
| baseline | Die grundlegenden Sprachdaten konzentrierten sich auf das allgemeine Verständnis, die grundlegende Kommunikation und die wichtigsten sprachlichen Fähigkeiten |
| chat | Konversationsaustausch, der einen natürlichen Dialogfluss, die Aufrechterhaltung des Kontextes und angemessene soziale Interaktionen demonstriert |
| code | Programmierquellcode, Dokumentation und technische Diskussionen aus verschiedenen Programmiersprachen und Plattformen. |
| factuality | Referenzmaterialien und verifizierte Informationen mit Schwerpunkt auf Genauigkeit, Quellenvalidierung und Wahrheitsbeurteilung |
| identity | Persönlichkeitsrahmen und Verhaltensmuster konzentrierten sich auf konsistente Charaktereigenschaften, Werte und Interaktionsstile |
| long-context | Ausführliche Texte und komplexe Erzählungen konzentrierten sich auf die Wahrung von Kohärenz und Relevanz bei längeren Austauschen |
| math | Mathematische Inhalte, darunter Lehrbücher, Probleme, Lösungen und mathematische Diskussionen. |
| rai | Fälle und Szenarien, in denen ethische KI-Prinzipien, Sicherheitsüberlegungen und verantwortungsvoller Technologieeinsatz im Vordergrund stehen |
| instruction-following | Beispiele für die präzise Ausführung von Aufgaben auf der Grundlage unterschiedlicher Ebenen von Benutzeraufforderungen und -anweisungen |
| stem | Technische Inhalte aus den Bereichen Wissenschaft, Technologie, Ingenieurwesen und Mathematik, einschließlich Problemlösung und theoretischer Konzepte |
| planning | Sequenzen, die strategisches Denken, Aufschlüsselung von step-by-step Aufgaben und effiziente Ressourcenzuweisung demonstrieren |
| reasoning-chat | Analytische Dialogszenarien konzentrierten sich auf logische Diskussionen und strukturierte Gesprächsabläufe |
| reasoning-code | Herausforderungen bei der Programmierung und algorithmische Probleme standen im Mittelpunkt der systematischen Lösungsentwicklung |
| reasoning-factuality | Die Szenarien zur Informationsbewertung konzentrierten sich auf kritische Bewertungs- und Überprüfungsprozesse |
| reasoning-instruction-following | Komplexe Aufgabenanalyse mit Schwerpunkt auf systematischer Interpretation und methodischer Ausführung |
| reasoning-math | Mathematische Problemlösungsszenarien mit Schwerpunkt auf logischer Weiterentwicklung und Lösungsstrategien |
| reasoning-planning | Strategische Entscheidungsszenarien konzentrierten sich auf einen systematischen Ansatz zur Zielerreichung |
| reasoning-rag | Szenarien zur Informationsgewinnung und -synthese konzentrierten sich auf das kontextuelle Verständnis und die entsprechende Anwendung |
| reasoning-rai | Ethische Entscheidungsszenarien konzentrierten sich auf die systematische Bewertung der Sicherheit und Fairness von KI |
| reasoning-stem | Wissenschaftliche Problemlösungsszenarien mit Schwerpunkt auf methodischer Analyse und Lösungsentwicklung |
| rag | Beispiele für die effektive Kombination von abgerufenem externem Wissen mit generierten Antworten zur Bereitstellung genauer, kontextbezogener Informationen |
| translation | Mehrsprachige Inhaltspaare, die eine genaue Übersetzung ermöglichen und gleichzeitig Kontext, Tonalität und kulturelle Nuancen beibehalten |
#### Leitfaden für Parameter
+ **dataset\$1catalog:** Der einzige Wert ist vorerst cpt\$1text\$1lite, bis wir das multimodale Training aktivieren.
+ **nova\$1data: Prozentsatz der einzelnen Kategorien von Nova-Daten**, wenn sie zusammengemischt wurden. Sie sollten zusammen 1,0 ergeben.
+ **customer\$1data**: Der Prozentsatz der Kundendaten, die mit den Nova-Daten vermischt wurden.
Die Gesamtzahl der im Training verwendeten Token kann anhand von\$1 \$1 berechnet werden `max_length` `global_batch_size` `max_steps`
**Einschränkungen**
Das aktuelle CPT unterstützt nur Textdaten und keine multimodalen Kundendatensätze.
# Beaufsichtigte Feinabstimmung
## Einführung
Bei der überwachten Feinabstimmung werden Datensätze mit Input-Output-Paaren für die jeweilige Aufgabe verwendet. Mit anderen Worten, Sie geben Beispiele für Eingabeaufforderungen (Fragen, Anweisungen usw.) zusammen mit den richtigen oder gewünschten Antworten und setzen das Training des Modells anhand dieser Antworten fort. Die Gewichtung des Modells wird so angepasst, dass ein überwachter Verlust, typischerweise eine Kreuzentropie zwischen den Vorhersagen und den Ziel-Antwort-Tokens, minimiert wird.
## Wann sollte SFT verwendet werden?
SFT eignet sich am besten, wenn Sie eine klar definierte Aufgabe mit klar definierten Ergebnissen haben. Wenn Sie explizit sagen können: „Bei gegebener X-Eingabe ist die correct/desired Ausgabe Y“ und Sie können Beispiele für solche XY-Mappings sammeln, dann ist die überwachte Feinabstimmung eine gute Wahl. Zu den Szenarien, in denen SFT hervorragende Leistungen erbringt, gehören:
+ **Strukturierte oder komplexe Klassifizierungsaufgaben**: z. B. Klassifizierung interner Dokumente oder Verträge in viele benutzerdefinierte Kategorien. Mit SFT kann das Modell diese spezifischen Kategorien viel besser lernen, als wenn es nur Eingabeaufforderungen erfordert.
+ **Aufgaben zur Beantwortung von Fragen oder zur Transformation mit bekannten Antworten**: z. B. Feinabstimmung eines Modells zur Beantwortung von Fragen aus der Wissensdatenbank eines Unternehmens oder zur Konvertierung von Daten zwischen Formaten, wobei jede Eingabe eine richtige Antwort hat.
+ **Einheitlichkeit bei Formatierung und Stil**: Wenn Sie möchten, dass das Modell immer in einem bestimmten Format oder Ton reagiert, können Sie anhand von Beispielen für das richtige Format/den richtigen Ton eine Feinabstimmung vornehmen. Wenn Sie beispielsweise anhand von Paaren zwischen Aufforderung und Antwort trainieren, die eine bestimmte Markensprache oder einen bestimmten Stil vermitteln, können Sie dem Modell beibringen, diesen Stil in seinen Ausgaben zu berücksichtigen. Das Verhalten bei der Befolgung von Anweisungen wird häufig zunächst anhand von kuratierten Beispielen für gutes Assistenzverhalten anhand von SFT vermittelt.
SFT ist der direkteste Weg, einem LLM eine neue Fähigkeit oder ein neues Verhalten beizubringen, wenn Sie angeben können, wie das richtige Verhalten aussieht. Es nutzt das bestehende Sprachverständnis des Modells und konzentriert es auf Ihre Aufgabe. Verwenden Sie SFT nicht, wenn die Lücke eher im Wissen als im Verhalten besteht. Dadurch lernt das Modell nicht neue Fakten, Fachjargon oder aktuelle Ereignisse. In diesen Fällen sollten Sie lieber fortlaufende Vorschulungen an großen unternehmensinternen Korpora oder eine generierte Generierung vornehmen, um externes Wissen als Inferenz heranzuziehen. Wenn Sie die Qualität messen können, aber keine einzige Antwort als richtig bezeichnen können, ist eine verstärkte Feinabstimmung mit nachweisbaren Prämien oder an möglicherweise der SFT vorzuziehen. LLM-as-judge
Planen Sie je nach Aufgabenkomplexität und Leistung des Nova-Modells ohne Feinabstimmung Tausende bis Zehntausende von Demonstrationen pro Aufgabe ein, wobei Datenqualität, Konsistenz und Vielfalt wichtiger sind als das reine Volumen.
## Wann sollte Parametereffizienz und wann SFT mit vollem Rang eingesetzt werden?
Mit den Anpassungsrezepten von Nova können Sie parametereffizient arbeiten, insbesondere LoRa oder Full-Rank-SFT. Wenn Sie eine einfache, kosteneffiziente Modellaktualisierung wünschen oder nur über sehr wenige Daten verfügen, bevorzugen Sie parametereffiziente Methoden, sodass Sie kleine Adapter trainieren und gleichzeitig den größten Teil des Backbones unberührt lassen (SFT mit vollem Rang aktualisiert alle Modellparameter).
## Datenmischung für SFT
Durch das Mischen von Daten können Sie Ihre benutzerdefinierten Trainingsdatensätze mit den firmeneigenen Trainingsdaten von Nova kombinieren. Diese Funktion ist sowohl für Nova 1.0- als auch für Nova 2.0-Modelle verfügbar.
**Proprietärer Nova-Datentyp**: Nova unterstützt sowohl Text- als auch multimodale SFT-Datentypen. Es ist in mehrere Datenkategorien unterteilt, die jeweils eine Mischung von Aufgaben enthalten, die für die entsprechende Kategorie relevant sind.
**Proprietäre Datenkategorien von Nova**: Textdatensätze umfassen mehrere Kategorien, darunter: autonome Entscheidungsfindung, Aufgabenerfüllung, zielorientierte Datensätze (Agenten), sowohl logische als auch unlogische Datensätze zur präzisen Aufgabenausführung (reasoning-instruction-following, Befolgung von Anweisungen), Sequenzen, die strategisches Denken und step-by-step Aufgabenzusammensetzung (Planung) demonstrieren, verantwortungsvolle KI (RAI), Langkontext, Sachlichkeit, Mathematik, MINT und vieles mehr. In ähnlicher Weise umfassen multimodale Datensätze Videos, Screenshots, Diagramme und vieles mehr.
Mit der Funktion zum Mischen von Daten können Sie Ihre eigenen Trainingsproben zur Feinabstimmung mit Stichproben aus den Nova-Datensätzen kombinieren, die zur Feinabstimmung des Nova verwendet wurden. Auf diese Weise können Sie verhindern, dass Ihr individuelles Training zu stark beansprucht wird und Sie die Nova-Fähigkeiten „katastrophal vergessen“, oder Sie können Fähigkeiten aufbauen, wenn Sie von einem neuen, vortrainierten Checkpoint aus trainieren.
Um Nova-Daten zu mischen, müssen Sie lediglich einen data\$1mixing-Block zu Ihrer YAML-Rezeptdatei im Abschnitt training\$1config hinzufügen. Mischblöcke für Text und multimodale Daten haben unterschiedliche Inhalte. Bitte beachten Sie die entsprechenden Rezepte.
### Unterstützte Modelle
+ Nova 2.0 Lite
### Unterstützte Modalität
+ Text
+ Multimodal
## Beispiele für YAML-Konfigurationen
### Konfigurationsbeispiel für Nova 2.0
```
run:
name: my-lora-sft-run
model_type: amazon.nova-2-lite-v1:0:256k
model_name_or_path: nova-lite-2/prod
data_s3_path: s3://my-bucket-name/train.jsonl
replicas: 4
output_s3_path: s3://my-bucket-name/outputs/
mlflow_tracking_uri: ""
mlflow_experiment_name: "my-lora-sft-experiment"
mlflow_run_name: "my-lora-sft-run"
training_config:
max_steps: 100
save_steps: 10
save_top_k: 5
max_length: 32768
global_batch_size: 32
reasoning_enabled: true
lr_scheduler:
warmup_steps: 15
min_lr: 1e-6
optim_config:
lr: 1e-5
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.95
peft:
peft_scheme: "lora"
lora_tuning:
alpha: 64
lora_plus_lr_ratio: 64.0
```
### Mischen von Nova 2.0-Textdaten
```
data_mixing:
dataset_catalog: sft_1p5_text_chat
sources:
customer_data:
percent: 50
nova_data:
agents: 1
baseline: 10
chat: 0.5
code: 10
factuality: 0.1
identity: 1
long-context: 1
math: 2
rai: 1
instruction-following: 13
stem: 0.5
planning: 10
reasoning-chat: 0.5
reasoning-code: 0.5
reasoning-factuality: 0.5
reasoning-instruction-following: 45
reasoning-math: 0.5
reasoning-planning: 0.5
reasoning-rag: 0.4
reasoning-rai: 0.5
reasoning-stem: 0.4
rag: 1
translation: 0.1
```
### Nova 2.0 Multimodales Mischen von Daten
```
data_mixing:
dataset_catalog: sft_1p5_mm_chat
sources:
customer_data:
percent: 50
nova_data:
charts: 1
chat: 38
code: 20
docs: 3
general: 2
grounding: 1
rag: 4
screenshot: 4
text: 8
translation: 4
video: 15
```
## Checkpoints modellieren
### Nova 2.0-Checkpoints
+ **VORGESCHULT** [`nova-lite-2/pretraining-text-RD`]: Kontrollpunkt nach einer konstanten Lernrate und nach dem Herunterfahren, in denen das Modell mit Billionen von Tokens trainiert wird. [Ergebnis von Phase 2]
+ **`nova-lite-2/pretraining-text-CE`MID-TRAINED** []: Ermöglicht es Kunden mit mittleren Mengen unstrukturierter Daten, ihre Daten mit einer konservativeren Lernrate als vor dem Training einzuführen, wodurch domänenspezifisches Wissen vermittelt und gleichzeitig katastrophales Vergessen vermieden wird. [Ergebnis von Phase 3]
+ **FINAL** [`nova-lite-2/prod`]: Vollständig ausgerichteter letzter Checkpoint, der alle Schritte vor und nach dem Training durchlaufen hat. [Ergebnis der vierten Phase]
**Phasen der Ausbildung:**
+ Phase 1: PT Ckpt, anfängliches Vortraining mit konstanter Lernrate
+ Stufe 2: PT Ckpt, Senkung der Lernrate
+ Stufe 3: PT Ckpt, Schulung zur Erweiterung des Kontextes
+ Stufe 4: Schulung im Anschluss an die Schulung und Sicherheitstraining
## Ausbildungsansätze
**Leitfaden zur Auswahl des Trainingsansatzes**
| Datentyp | Datenvolumen | Durchführen | Mit Checkpoint |
| --- | --- | --- | --- |
| Umfangreiche unstrukturierte Domain-Rohdaten (Dokumente, Protokolle, Artikel, Code usw.) | 1T\$1 Tokens | Fortsetzung der Vorschulung | Ende der Constant Learning Rate (CLR) |
| Umfangreiche unstrukturierte Domain-Rohdaten | Über 100 Milliarden Tokens | Mitten im Training | Ende von CLR |
| Kleinere Mengen unstrukturierter Rohdaten; Spuren strukturierter Argumentationen/CoT-Daten | Mehr als 1 Milliarde Tokens | Mitten im Training | Nova-Basismodell |
| Strukturierte Demonstrationen (hochwertige Input-Output-Paare, kuratierte Aufgabenanweisungen, Multi-Turn-Dialoge) | Über 1.000 Beispiele | Überwachte Feinabstimmung (SFT) | Nova-Basismodell |
## Voraussetzungen, bevor Sie beginnen
+ Wir gehen davon aus, dass Sie bereits einen SMHP-Cluster mit einer eingeschränkten Instanzgruppe (RIG) eingerichtet haben, die über aktive Kapazität verfügt. Falls nicht, finden Sie hier Informationen zur Fertigstellung Ihres SMHP-Clusters und Ihres RIG-Setups [[Docs-Link, [Workshop-Link](https://catalog.us-east-1.prod.workshops.aws/workshops/dcac6f7a-3c61-4978-8344-7535526bf743/en-US)](https://docs.aws.amazon.com/sagemaker/latest/dg/nova-forge.html)]
+ Sie benötigen **p5.48xlarge** EC2-Instances, um dieses Rezept auszuführen. Die Mindestanzahl an Instanzen, die für die effiziente Ausführung dieses Rezepts erforderlich ist, ist wie folgt:
+ **Nova Lite 2.0 - 4 p5.48xlarge**
+ Installieren Sie die Forge-spezifische SageMaker HyperPod CLI mithilfe der [hier](https://catalog.us-east-1.prod.workshops.aws/workshops/dcac6f7a-3c61-4978-8344-7535526bf743/en-US) bereitgestellten Anweisungen
+ Vergewissern Sie sich, dass Sie mit Ihrem Cluster eine Verbindung herstellen können `hyperpod get-clusters`
+ Beachten Sie, dass dieser Befehl alle SMHP-Cluster in Ihrem Konto auflistet
+ Vergewissern Sie sich, dass Ihre Trainings- und optional Validierungsdaten in einem S3-Bucket verfügbar sind, auf den die Ausführungsrolle Ihres SMHP-Clusters zugreifen kann. Informationen zur Datenaufbereitung finden Sie im nächsten Abschnitt.
+ Lassen Sie die Einrichtung abgeschlossen haben. Wenn Sie die Einrichtung nicht abgeschlossen haben, folgen Sie bitte der folgenden [Anleitung](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-getting-started.html).
+ **Überprüfung**: Stellen Sie nach Abschluss der Einrichtung sicher, dass Sie die folgenden Befehle erfolgreich ausführen können
```
aws sagemaker describe-cluster --cluster-name --region
hyperpod connect-cluster --cluster-name cluster-name
```
## Ein systematischer Ansatz für eine erfolgreiche SFT
+ **Datenaufbereitung**: Halten Sie sich an die geltenden Richtlinien, um Datensätze zu erstellen, zu bereinigen oder neu zu formatieren, sodass sie die erforderliche Struktur haben. Stellen Sie sicher, dass Eingaben, Ausgaben und Zusatzinformationen (wie Argumentationsspuren oder Metadaten) richtig aufeinander abgestimmt und formatiert sind.
+ **Trainingskonfiguration**: Definieren Sie, wie das Modell trainiert werden soll. Bei Verwendung von Amazon SageMaker HyperPod wird diese Konfiguration in eine YAML-Rezeptdatei geschrieben, die Folgendes beinhaltet:
+ Datenquellenpfade (Trainings- und Validierungsdatensätze)
+ Wichtige Hyperparameter (Anzahl der Trainingsschritte, Lernrate, Batchgröße)
+ Optionale Komponenten (verteilte Trainingsparameter usw.)
+ Einstellung zur Datenmischung (definiert die Proportionen der Kunden- und Nova-Datenkategorien)
+ **Optimieren Sie die SFT-Hyperparameter**: Die von uns empfohlenen Werte für die SFT-Rezepturparameter sind ein guter Ausgangspunkt und eine solide Wahl. Wenn Sie sie für Ihren Anwendungsfall weiter optimieren möchten, führen Sie mehrere SFT-Läufe mit unterschiedlichen Parameterkombinationen durch und wählen Sie die beste aus. Sie können Parameterkombinationen anhand der Hyperparameter-Optimierungsmethode Ihrer Wahl auswählen. Ein einfacher Ansatz besteht darin, den Wert eines Parameters (Standard\$10.5, Standard, Standard\$12) zu variieren und gleichzeitig einen anderen Standardwert für andere Parameter beizubehalten. Wiederholen Sie dies für jeden Parameter, den Sie optimieren möchten, und iterieren Sie bei Bedarf. Die wichtigsten Parameter für LoRa sind Lernrate, Alpha (Skalierungsparameter), Anzahl der zu trainierenden Epochen und Aufwärmschritte; für den vollen Rang sind es hauptsächlich die Lernrate, die Anzahl der Epochen und die Aufwärmschritte.
## Sequenzierung von Experimenten und Mischen von Daten
+ Wenn Sie nur SFT-Daten (train/dev/test) für eine Reihe von Aufgaben haben und Sie sich nur um die Testleistung bei diesen Aufgaben kümmern
+ Führen Sie am [FINAL] Nova-Checkpoint SFT aus, ohne zu mischen. Verwenden Sie die standardmäßigen SFT-Hyperparameter und optimieren Sie sie optional für Ihren Anwendungsfall. Monitorvalidierungsmetriken and/or bewerten Zwischenprüfpunkte für größere Datensätze.
+ Wenn Sie nur über SFT-Daten (train/dev/test) für eine Reihe von Aufgaben verfügen und Ihnen die Testleistung bei diesen Aufgaben sowie allgemeine Benchmarks im betreffenden Bereich wichtig sind
+ Führen Sie zunächst SFT mit Nova-Datenmischung an einem Checkpoint vor dem Training durch (PRE-TRAINED oder MID-TRAINED Checkpoint, nicht FINAL). Durch die Verwendung eines Zwischenprüfpunkts kann das Modell Ihre benutzerdefinierten Daten besser in die firmeneigenen Daten von Nova integrieren und gleichzeitig die starken allgemeinen Funktionen beibehalten.
+ Führen Sie kürzere SFT-Trainingsläufe mit unterschiedlicher Menge an Nova-Daten in der Mischung (z. B. 10%, 25%, 50%, 75%) und Nova-Datenkategorien durch, die Ihren Anwendungsfall ergänzen (z. B. wählen Sie Anweisung nach Kategorie, wenn Sie Wert auf allgemeine Fähigkeiten legen). Überwachen Sie die Validierungsmetriken und bewerten Sie, ob das Mischen die Leistung bei allgemeinen Benchmarks verbessert. Wählen Sie den Trainingsmix und den Checkpoint aus, der zu der besten Kombination aus Leistung bei Ihrer Aufgabe und allgemeiner Leistung führt. Je nach Anwendungsfall können sowohl die Leistung der Aufgaben als auch die allgemeine Leistung durch Reinforcement Fine Tuning (RFT) weiter verbessert werden.
## Datensatz für SFT vorbereiten
**Nova 2.0**[: Verwenden Sie das Converse-API-Format https://docs.aws.amazon.com/bedrock/ latest/userguide/conversation -inference-call.html.](https://docs.aws.amazon.com/bedrock/latest/userguide/conversation-inference-call.html) [Das Nova 2.0-Datenformat kann zusätzliche Felder zur Argumentation enthalten: https://docs.aws.amazon.com/bedrock/ latest/APIReference/API \$1runtime\$1 .html ReasoningContentBlock](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ReasoningContentBlock.html)
Der Inhalt der Argumentation erfasst die zwischengeschalteten Denkschritte des Modells, bevor eine endgültige Antwort generiert wird. Verwenden `assistant` Sie anschließend das `reasoningContent` Feld, um Argumentationsspuren einzufügen. Verwenden Sie Klartext für Argumentationsinhalte, vermeiden Sie Markup-Tags wie `` und, `` sofern dies nicht ausdrücklich für Ihre Aufgabe erforderlich ist, und stellen Sie sicher, dass der Inhalt der Argumentation klar und relevant für den Problemlösungsprozess ist.
## Methoden der Bewertung
### Voraussetzungen
+ Checkpoint S3-URI aus der `manifest.json` Datei Ihres Trainingsjobs (für trainierte Modelle)
+ Der Bewertungsdatensatz wurde im richtigen Format auf S3 hochgeladen
+ S3-Pfad für die Evaluierungsergebnisse ausgeben
**Sofort einsatzbereite Benchmarks**: Verwenden Sie sofort einsatzbereite Benchmarks, um die Leistung bei allgemeinen Aufgaben zu validieren. [Weitere Informationen finden Sie hier: -hp-evaluate.html https://docs.aws.amazon.com/sagemaker/ latest/dg/nova](https://docs.aws.amazon.com/sagemaker/latest/dg/nova-hp-evaluate.html)
### Bringen Sie Ihre eigenen Daten mit
Sie können Ihre benutzerdefinierten Daten auch angeben, indem Sie sie im folgenden Format formatieren und dann die unten genannten Container verwenden, um bei Bedarf Inferenzergebnisse zusammen mit Protokollwahrscheinlichkeiten für Kalibrierungen zu erhalten.
Erstellen Sie jsonl pro Aufgabe mit der folgenden Struktur:
```
{
"metadata": "{key:4, category:'apple'}",
"system": "arithmetic-patterns, please answer the following with no other words: ",
"query": "What is the next number in this series? 1, 2, 4, 8, 16, ?",
"response": "32"
}
```
Die während der Inferenzphase der Evaluierungsaufgabe generierten Ergebnisse werden folgende Struktur haben:
```
{
"prompt": "[{'role': 'system', 'content': 'arithmetic-patterns, please answer the following with no other words: '}, {'role': 'user', 'content': 'What is the next number in this series? 1, 2, 4, 8, 16, ?'}]",
"inference": "['32']",
"gold": "32",
"metadata": "{key:4, category:'apple'}"
}
```
**Beschreibungen der Felder:**
+ `prompt`: Formatierte Eingabe, die an das Modell gesendet wurde
+ `inference`: Die generierte Antwort des Modells
+ `gold`: Richtige Antwort aus dem Eingabedatensatz erwartet, Antwortfeld aus der Eingabe
+ `metadata`: Optionale Metadaten, die von der Eingabe übergeben wurden
### Evaluierungskonfiguration vorbereiten
Befehl zum Starten des Evaluierungsjobs. Wird verwendet`"--override-parameters"`, um einen beliebigen Eintrag aus dem Rezept zu ändern.
```
hyperpod start-job -n kubeflow \
--recipe evaluation/nova/nova_micro_p5_48xl_bring_your_own_dataset_eval \
--override-parameters '{
"instance_type": "p5.48xlarge",
"container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest",
"recipes.run.name": "",
"recipes.run.model_name_or_path": "",
"recipes.run.output_s3_path": "s3:///eval-results/",
"recipes.run.data_s3_path": "s3:///eval-data.jsonl"
}'
```
## Bewährte Methoden
+ **Priorisieren Sie die Datenqualität vor dem Volumen**: Hochwertige, vielfältige und repräsentative Trainingsdaten sind wertvoller als große Mengen an Daten von geringer Qualität.
+ ** reasoning-instruction-followingKategorie einbeziehen**: Wenn Sie Daten mischen, sollten Sie die Kategorie "reasoning-instruction-following" angeben, um eine hohe generische Leistung bei allen Aufgaben zu gewährleisten.
+ **Verwenden Sie Standard-Lernraten**: Beginnen Sie mit den Standard-Lernraten (1e-5 für LoRa, 5e-6 für SFT mit vollem Rang) und passen Sie sie nur bei Bedarf auf der Grundlage von Validierungsmetriken an.
+ **Ausgewogenes Mischen von Nova-Daten**: Kombinieren Sie maximal 50% der Nova-Daten, um ein optimales Verhältnis zwischen Latenz und Leistung zu erzielen. Höhere Prozentsätze können die allgemeinen Fähigkeiten verbessern, aber auch die Trainingszeit verlängern.
+ **Überwachen Sie die Validierungskennzahlen**: Evaluieren Sie während des Trainings regelmäßig Zwischen-Checkpoints, um Überbeanspruchung oder Leistungseinbußen frühzeitig zu erkennen.
+ **Testen Sie anhand repräsentativer Datensätze**: Stellen Sie sicher, dass Ihre Bewertungsdatensätze Ihre Anwendungsfälle in der Produktion genau wiedergeben, um eine aussagekräftige Leistungsbeurteilung zu ermöglichen.
## Config für Trainingsjobs vorbereiten
### Hyperparameter
Vollständiger Satz von Hyperparametern außer Datenmischung:
```
## Run config
run:
name: my-lora-sft-run
model_type: amazon.nova-2-lite-v1:0:256k
model_name_or_path: nova-lite-2/prod
data_s3_path: s3://my-bucket-name/train.jsonl # SageMaker HyperPod (SMHP) only and not compatible with SageMaker Training jobs. Note replace my-bucket-name with your real bucket name for SMHP job
replicas: 4 # Number of compute instances for training, allowed values are 4, 8, 16, 32
output_s3_path: s3://my-bucket-name/outputs/ # Output artifact path (Hyperpod job-specific; not compatible with standard SageMaker Training jobs). Note replace my-bucket-name with your real bucket name for SMHP job
## MLFlow configs
mlflow_tracking_uri: "" # Required for MLFlow
mlflow_experiment_name: "my-lora-sft-experiment" # Optional for MLFlow. Note: leave this field non-empty
mlflow_run_name: "my-lora-sft-run" # Optional for MLFlow. Note: leave this field non-empty
training_config:
max_steps: 100 # Maximum training steps. Minimal is 4.
save_steps: 10 # This parameter suggests after how many training steps the checkpoints will be saved. Should be less than or equal to max_steps(please override this value with a numerical value equal or less than max_steps value; min: 4)
save_top_k: 5 # Keep top K best checkpoints. Note supported only for SageMaker HyperPod jobs. Minimal is 1.
max_length: 32768 # Sequence length (options: 8192, 16384, 32768 [default], 65536)
global_batch_size: 32 # Golbal batch size (options: 32, 64, 128)
reasoning_enabled: true # If data has reasoningContent, set to true; otherwise False
lr_scheduler:
warmup_steps: 15 # Learning rate warmup steps. Recommend 15% of max_steps
min_lr: 1e-6 # Minimum learning rate, must be between 0.0 and 1.0
optim_config: # Optimizer settings
lr: 1e-5 # Learning rate, must be between 0.0 and 1.0
weight_decay: 0.0 # L2 regularization strength, must be between 0.0 and 1.0
adam_beta1: 0.9 # Exponential decay rate for first-moment estimates, must be between 0.0 and 1.0
adam_beta2: 0.95 # Exponential decay rate for second-moment estimates, must be between 0.0 and 1.0
peft: # Parameter-efficient fine-tuning (LoRA)
peft_scheme: "lora" # Enable LoRA for PEFT
lora_tuning:
alpha: 64 # Scaling factor for LoRA weights ( options: 32, 64, 96, 128, 160, 192),
lora_plus_lr_ratio: 64.0 # LoRA+ learning rate scaling factor (0.0–100.0)
```
Die wichtigsten Parameter für LoRa sind Lernrate, Alpha (Skalierungsparameter), Anzahl der zu trainierenden Epochen und Aufwärmschritte. Bei einem vollen Rang sind es hauptsächlich die Lernrate, die Anzahl der Epochen und die Aufwärmschritte. Die Rezepte sind bereits mit den empfohlenen Standardwerten gefüllt.
## Datenmischblock einrichten
Fügen Sie Ihrem Rezept den Abschnitt data\$1mixing mit der entsprechenden prozentualen Verteilung auf die Datensatzkategorien hinzu.
Im Folgenden beschreiben wir jede verfügbare Nova-Datenkategorie.
### Nova 2.0-Konfiguration mit Datenmischung
```
data_mixing:
dataset_catalog: sft_1p5_text_chat # Nova text dataset catalog
sources:
customer_data:
percent: 50 # Percent of overall mix to draw from customer data
nova_data: # The remainder will be drawn from Nova data. The categories below must add to 100
agents: 1 # autonomous decision-making, task completion, goal-oriented behavior in AI systems
baseline: 10 # [New in Nova 1.5]
chat: 0.5 # Conversational exchanges demonstrating natural dialogue flow
code: 10 # Programming examples and solutions spanning multiple languages
factuality: 0.1 # [New in Nova 1.5]
identity: 1 # [New in Nova 1.5]
long-context: 1 # [New in Nova 1.5]
math: 2 # [New in Nova 1.5]
rai: 1 # ethical AI principles, safety considerations, and responsible technology deployment
instruction-following: 13 # precise task execution based on varying levels of user prompts and directives
stem: 0.5 # Technical content covering science, technology, engineering, and mathematics
planning: 10 # Sequences demonstrating strategic thinking and step-by-step task breakdown
reasoning-chat: 0.5
reasoning-code: 0.5
reasoning-factuality: 0.5
reasoning-instruction-following: 45
reasoning-math: 0.5
reasoning-planning: 0.5
reasoning-rag: 0.4
reasoning-rai: 0.5
reasoning-stem: 0.4
rag: 1 # combining retrieved external knowledge with generated responses
translation: 0.1
```
Was bedeuten diese Kategorien?
**Nova 2.0-Kategorien für Textdaten**
| Name der Kategorie | Einzelheiten der Informationen |
| --- | --- |
| agents | Die Trainingsdaten konzentrierten sich auf autonome Entscheidungsfindung, Aufgabenerfüllung und zielorientiertes Verhalten in KI-Systemen |
| Baseline | Die grundlegenden Sprachdaten konzentrierten sich auf das allgemeine Verständnis, die grundlegende Kommunikation und die wichtigsten sprachlichen Fähigkeiten |
| chat | Konversationsaustausch, der einen natürlichen Dialogfluss, die Aufrechterhaltung des Kontextes und angemessene soziale Interaktionen demonstriert |
| Code | Programmierquellcode, Dokumentation und technische Diskussionen aus verschiedenen Programmiersprachen und Plattformen. |
| Sachlichkeit | Referenzmaterialien und verifizierte Informationen mit Schwerpunkt auf Genauigkeit, Quellenvalidierung und Wahrheitsbeurteilung |
| Identität | Persönlichkeitsrahmen und Verhaltensmuster konzentrierten sich auf konsistente Charaktereigenschaften, Werte und Interaktionsstile |
| langer Kontext | Ausführliche Texte und komplexe Erzählungen konzentrierten sich auf die Wahrung von Kohärenz und Relevanz während eines langen Austauschs |
| math | Mathematische Inhalte, darunter Lehrbücher, Probleme, Lösungen und mathematische Diskussionen. |
| rai | Fälle und Szenarien, in denen ethische KI-Prinzipien, Sicherheitsüberlegungen und verantwortungsvoller Technologieeinsatz im Vordergrund stehen |
| Befolgung der Anweisungen | Beispiele für die präzise Ausführung von Aufgaben auf der Grundlage unterschiedlicher Ebenen von Benutzeraufforderungen und Anweisungen |
| Stamm | Technische Inhalte aus den Bereichen Wissenschaft, Technologie, Ingenieurwesen und Mathematik, einschließlich Problemlösung und theoretischer Konzepte |
| Planung | Sequenzen, die strategisches Denken, Aufschlüsselung von step-by-step Aufgaben und effiziente Ressourcenzuweisung demonstrieren |
| Gespräch mit Argumenten | Analytische Dialogszenarien konzentrierten sich auf logische Diskussionen und strukturierte Gesprächsabläufe |
| Argumentationscode | Herausforderungen bei der Programmierung und algorithmische Probleme konzentrierten sich auf die systematische Lösungsentwicklung |
| Argumentation — Sachlichkeit | Die Szenarien zur Informationsbewertung konzentrierten sich auf kritische Bewertungs- und Überprüfungsprozesse |
| reasoning-instruction-following | Komplexe Aufgabenanalyse mit Schwerpunkt auf systematischer Interpretation und methodischer Ausführung |
| Argumentationsmathematik | Mathematische Problemlösungsszenarien mit Schwerpunkt auf logischer Weiterentwicklung und Lösungsstrategien |
| Argumentationsplanung | Strategische Entscheidungsszenarien konzentrierten sich auf einen systematischen Ansatz zur Zielerreichung |
| Argumentationslappen | Szenarien zum Abrufen und Synthetisieren von Informationen, die sich auf das kontextuelle Verständnis und die entsprechende Anwendung konzentrieren |
| Argumentation | Ethische Entscheidungsszenarien konzentrierten sich auf die systematische Bewertung der Sicherheit und Fairness von KI |
| Argumentationsstamm | Wissenschaftliche Problemlösungsszenarien mit Schwerpunkt auf methodischer Analyse und Lösungsentwicklung |
| Lappen | Beispiele für die effektive Kombination von abgerufenem externem Wissen mit generierten Antworten zur Bereitstellung genauer, kontextbezogener Informationen |
| Übersetzung | Mehrsprachige Inhaltspaare, die eine genaue Übersetzung ermöglichen und gleichzeitig Kontext, Tonalität und kulturelle Nuancen beibehalten |
### Multimodales Mischen von Daten (Nova 2.0)
```
data_mixing:
dataset_catalog: sft_1p5_mm_chat # Nova text dataset catalog
sources:
customer_data:
percent: 50 # Percent of overall mix to draw from customer data
nova_data: # The remainder will be drawn from Nova data. The categories below must add to 100
charts: 1
chat: 38
code: 20
docs: 3
general: 2
grounding: 1
rag: 4
screenshot: 4
text: 8
translation: 4
video: 15
```
Hinweis: Nova 2.0 beinhaltet Unterstützung für Videodatenkategorien, die in Nova 1.0 nicht verfügbar ist.
Was bedeuten diese Kategorien?
**Nova 2.0 Multimodale Datenkategorien**
| Name der Kategorie | Einzelheiten der Informationen |
| --- | --- |
| Diagramme | Visuelle Darstellungen und Beschreibungen von Grafiken, Kreisdiagrammen, Balkendiagrammen, Liniendiagrammen und anderen statistischen Visualisierungen, die dem Modell helfen, quantitative Informationen zu verstehen und effektiv zu kommunizieren |
| chat | Konversationsdaten gepaart mit visuellen Elementen konzentrierten sich auf das Verständnis von kontextuellen Dialogen und bildgestützte Interaktionen |
| Code | Programmierschnittstellen und Entwicklungsumgebungen mit Schwerpunkt auf visueller Codeinterpretation, IDE-Screenshots und technischen Diagrammen |
| Dokumente | Dokumentorientierte Daten, die Text, Bilder, Layouts und Formatierungen kombinieren, um Modellen das Verständnis und die Verarbeitung verschiedener Dokumenttypen und -strukturen zu vermitteln und sie so bei Konzepten wie der Erkennung von PDF-Inhalten zu unterstützen |
| general | Vielfältiger visueller und textueller Inhalt, der sich auf ein umfassendes Verständnis von Bildern, Grafiken und beschreibendem Begleittext konzentriert |
| Grounding | Visuelles Referenzmaterial und beschriftete Bilder konzentrierten sich auf die Verbindung von Sprachkonzepten mit realen visuellen Repräsentationen |
| Lappen | Beispiele für multimodale Abfragen, die zeigen, wie visuelles und textuelles externes Wissen effektiv kombiniert und referenziert werden kann, um genaue, kontextuelle Antworten zu generieren |
| Bildschirmfoto | Aufnahmen von Anwendungsschnittstellen und digitale Anzeigebilder mit Schwerpunkt auf dem Verständnis von Softwareschnittstellen und digitalen Interaktionen |
| text | Ein ausgewogener Pool von kontextuellen Textdaten, die aus den reinen Textkategorien von SFT Nova erstellt werden, um generalistische Fähigkeiten zu vermitteln |
| Übersetzung | Sprachübergreifende visuelle Inhalte konzentrieren sich auf die mehrsprachige Interpretation von Text in Bildern und kulturellen visuellen Elementen |
| video | Bewegungsbasierte visuelle Inhalte konzentrieren sich auf das zeitliche Verständnis und das sequentielle Verständnis visueller Erzählungen |
## Wie starte ich einen Job
Sie können auch in der README-Datei nachschlagen, wenn Sie nur die wichtigsten Informationen benötigen, um den ersten SFT-Lauf zu starten.
Informationen zum Container:
**Container-Informationen und Startbefehle**
| Modell | Technik | Unterkategorie | Image-URI | Hyperpod Launcher-Befehl |
| --- | --- | --- | --- | --- |
| Nova 2.0 | Feinabstimmung | SFT-Text | 708977205387.dkr. ecr.us-east-1.amazonaws.com /:SM-HP-SFT-V2-Latest nova-fine-tune-repo | Hyperpod start-job\$1 -n kubeflow\$1 --recipe in Ordnung- -:sm-hp-SFT-V2-latest“\$1 'tuning/nova/nova\$12\$10/nova\$1lite/SFT/nova\$1lite\$12\$10\$1p5\$1gpu\$1sft \$1 --override-parameters '\$1 "instance\$1type": "ml.p5.48xlarge", "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/novafine-tune-repo |
| Nova 2.0 | Feinabstimmung | SFT-Text \$1 Datamischung | 708977205387.dkr. ecr.us-east-1.amazonaws.com /:SM-HP-SFT-V2-Datamixing-Latest nova-fine-tune-repo | Hyperpod start-job\$1 -n kubeflow\$1 --recipe fine- -:sm-hp-SFT-V2-datamixing-latest“\$1 'tuning/nova/forge/nova\$12\$10/nova\$1lite/SFT/nova\$1lite\$12\$10\$1p5\$1gpu\$1sft\$1text\$1with\$1datamix \$1 --override-parameters '\$1 "instance\$1type": "ml.p5.48xlarge", "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/novafine-tune-repo |
| Nova 2.0 | Feinabstimmung | WEICH, 5 MM | 708977205387.dkr. ecr.us-east-1.amazonaws.com /:sm-HP-SFT-V2-latest nova-fine-tune-repo | Hyperpod start-job\$1 -n kubeflow\$1 --recipe in Ordnung- -:sm-hp-SFT-V2-latest“\$1 'tuning/nova/nova\$12\$10/nova\$1lite/SFT/nova\$1lite\$12\$10\$1p5\$1gpu\$1sft \$1 --override-parameters '\$1 "instance\$1type": "ml.p5.48xlarge", "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/novafine-tune-repo |
| Nova 2.0 | Feinabstimmung | SFT MM \$1 Datamixing | 708977205387.dkr. ecr.us-east-1.amazonaws.com /:SM-HP-SFT-V2-Datamixing-Latest nova-fine-tune-repo | Hyperpod start-job\$1 -n kubeflow\$1 --recipe fine- -:sm-hp-SFT-V2-datamixing-latest“\$1 'tuning/nova/forge/nova\$12\$10/nova\$1lite/SFT/nova\$1lite\$12\$10\$1p5\$1gpu\$1sft\$1mm\$1with\$1datamix \$1 --override-parameters '\$1 "instance\$1type": "ml.p5.48xlarge", "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/novafine-tune-repo |
Sobald Sie alle Einstellungen vorgenommen haben, gehen Sie vom Stammverzeichnis des Repositorys aus zum standardmäßigen Nova SFT-Rezeptordner sagemaker-hyperpod-cli
+ cd//src/hyperpod\$1cli/sagemaker\$1hyperpod\$1recipes/recipes\$1collection/recipes/training/nova
+ Hier können Sie je nach Wahl des Basismodells wählen, ob Sie Nova 1- oder Nova 2-Rezepte ausführen möchten.
Für Nova 2.0 sft:
+ Wenn Sie einen normalen SFT-Job verwenden möchten, sollten Sie in diesem Ordner ein Rezept sehen können
+ cd/src/hyperpod\$1cli/sagemaker\$1hyperpod\$1recipes/recipes\$1collection/recipes/fine-tuning/nova\$12\$10/nova\$1lite/SFTund dann solltest du in diesem Ordner ein Rezept namens nova\$1lite\$12\$10\$1p5x8\$1gpu\$1sft.yaml sehen
+ Wenn Sie datamixing sft Job verwenden möchten, können Sie zum Ordner sft Forge recipes navigieren.
+ cd/src/hyperpod\$1cli/sagemaker\$1hyperpod\$1recipes/recipes\$1collection/recipes/fine-tuning/nova/forge/nova\$12\$10/nova\$1lite/SFTund du solltest in diesem Ordner ein Rezept mit dem Namen sehen können: nova\$1lite\$12\$10\$1p5x8\$1gpu\$1sft\$1with\$1datamix.yaml
+ Bearbeiten Sie die Abschnitte im Rezept, die für den Job erforderlich sind, z. B. name, data\$1s3\$1path, validation\$1s3\$1path, output\$1s3\$1path und max\$1steps. Da wir SFT ausführen, gilt der Begriff Epochen hier nicht.
Die Konfiguration für das Mischen von Daten wird genauso aussehen, aber mit einem zusätzlichen Abschnitt zum Mischen von Daten unten, der dem hier ähnelt
```
data_mixing:
dataset_catalog: sft_text_lite
sources:
nova_data: # percent inputs for Nova data must sum to 100%; use 0% if you want to exclude a data grouping
agents: 20
business-and-finance: 20
scientific: 20
code: 20
factual-and-news: 20
longform-text: 0
health-and-medicine: 0
humanities-and-education: 0
legal: 0
math: 0
additional-languages: 0
social-and-personal-interest: 0
entertainment: 0
reasoning: 0
other: 0
tables: 0
customer_data: # percent input of customer data. 100 = use only customer data, 0 = use only the nova_data mix above
percent: 25
```
Hier gibt es zwei Kategorien von Daten der obersten Ebene:
+ nova\$1data: Dies ist die eigentliche Datenmischung, die in noch mehr Kategorien unterteilt ist. Es ist unbedingt erforderlich, dass sie zusammen 100% ergeben
+ Eine vollständige Aufschlüsselung dieser Kategorien, einschließlich der Anzahl der Token, finden Sie unten
+ customer\$1data: Dies sind Ihre Trainingsdaten, auf die im Schlüssel data\$1s3\$1path oben in Ihrer Yaml verwiesen wird. Der hier angegebene Prozentsatz bestimmt, wie hoch der resultierende Prozentsatz für nova\$1data sein wird. Bei den obigen Prozentangaben verwenden wir während der Schulung beispielsweise 25% von customer\$1data und 75% von nova\$1data, wovon 15% Agenten, 15% sind, 15% sind wissenschaftliche Daten business-and-finance, 15% sind Code und 15% factual-and-news
Tipp: Führen Sie pip install -e. erneut aus und schon können Sie Ihren Job einreichen\$1
Wir werden hier einige Parameter überschreiben, um das Mischen von Daten zu verwenden:
```
hyperpod start-job \
-n kubeflow \
--recipe fine-tuning/nova/forge/nova_2_0/nova_lite/SFT/nova_lite_2_0_p5x8_gpu_sft_with_datamix \
--override-parameters '{
"instance_type": "ml.p5.48xlarge",
"recipes.run.name": "nova-sft-datamixing",
"container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-Datamix",
"recipes.run.data_s3_path": "s3://sft-data/sft_train_data.jsonl",
"recipes.run.validation_data_s3_path": "s3://sft-data/sft_val_data.jsonl",
"recipes.run.output_s3_path": "s3://sft-data/output/
}'
```
Ihre Ausgabe sollte einen Jobnamen wie folgt enthalten:
```
⚡ MY Desktop ⚡ % hyperpod start-job \
-n kubeflow \
--recipe training/nova/forge/nova_2_0/nova_lite/sft/nova_lite_2_0_p5x8_gpu_pretrain_with_datamix \
--override-parameters '{
"instance_type": "ml.p5.48xlarge",
"recipes.run.name": "nova-sft-datamixing",
"container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-Datamix",
"recipes.run.data_s3_path": "s3://sft-data/sft_train_data.jsonl",
"recipes.run.validation_data_s3_path": "3://sft-data/sft_val_data.jsonl",
"recipes.run.output_s3_path": "3://sft-data/output/
}'
```
Die Ausgabe würde wie folgt aussehen:
```
Final command: python3 /local/home/my/Downloads/sagemaker-hyperpod-cli/src/hyperpod_cli/sagemaker_hyperpod_recipes/main.py recipes=training/nova/nova_micro_p5x8_gpu_pretrain cluster_type=k8s cluster=k8s base_results_dir=/local/home/niphaded/Downloads/sagemaker-hyperpod-cli/results cluster.pullPolicy="IfNotPresent" cluster.restartPolicy="OnFailure" cluster.namespace="kubeflow" instance_type="p5d.48xlarge" container="900867814919.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:sft-datamix-rig-final"
Prepared output directory at /local/home/my/Downloads/sagemaker-hyperpod-cli/results/my-sft-run-wzdyn/k8s_templates
Found credentials in shared credentials file: ~/.aws/credentials
Helm script created at /local/home/my/Downloads/sagemaker-hyperpod-cli/results/my-sft-run-wzdyn/niphaded-sft-run-wzdyn_launch.sh
Running Helm script: /local/home/my/Downloads/sagemaker-hyperpod-cli/results/my-sft-run-wzdyn/niphaded-sft-run-wzdyn_launch.sh
NAME: my-sft-run-wzdyn
LAST DEPLOYED: Tue Aug 26 16:21:06 2025
NAMESPACE: kubeflow
STATUS: deployed
REVISION: 1
TEST SUITE: None
Launcher successfully generated: /local/home/my/Downloads/sagemaker-hyperpod-cli/src/hyperpod_cli/sagemaker_hyperpod_recipes/launcher/nova/k8s_templates/SFT
{
"Console URL": "https://us-east-1.console.aws.amazon.com/sagemaker/home?region=us-east-1#/cluster-management/hyperpod-eks-ga-0703"
}
```
Sie können den Status Ihres Jobs mit hyperpod list-pods -n kubeflow --job-name einsehen my-sft-run-wzdyn
```
hyperpod list-pods -n kubeflow --job-name my-sft-run-wzdyn
{
"pods": [
{
"PodName": "my-sft-run-wzdyn-master-0",
"Namespace": "kubeflow",
"Status": "Pending",
"CreationTime": "2025-08-26 16:21:06+00:00"
},
{
"PodName": "my-sft-run-wzdyn-worker-0",
"Namespace": "kubeflow",
"Status": "Pending",
"CreationTime": "2025-08-26 16:21:06+00:00"
}
]
}
```
oder verwenden Sie direkt den Befehl kubectl, um sie zu finden.
Zum Beispiel
```
kubectl get pods -o wide -w -n kubeflow | (head -n1 ; grep my-sft-run)
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
my-sft-run-5suc8-master-0 0/1 Completed 0 3h23m 172.31.32.132 hyperpod-i-00b3d8a1bf25714e4
my-sft-run-5suc8-worker-0 0/1 Completed 0 3h23m 172.31.44.196 hyperpod-i-0aa7ccfc2bd26b2a0
my-sft-run-5suc8-worker-1 0/1 Completed 0 3h23m 172.31.46.84 hyperpod-i-026df6406a7b7e55c
my-sft-run-5suc8-worker-2 0/1 Completed 0 3h23m 172.31.28.68 hyperpod-i-0802e850f903f28f1
```
Profi-Tipp: Stellen Sie sicher, dass Sie immer das Flag -o wide verwenden, da der EKS-Knoten, auf dem der Job ausgeführt wird, Ihnen hilft, Ihre Logs in der Benutzeroberfläche noch schneller zu finden AWS
## So überwachen Sie den Job
Sie können Ihre Logs auf drei Arten einsehen:
### a) Verwenden CloudWatch
Ihre Protokolle sind in Ihrem Amazon Web Services Services-Konto verfügbar, das den Hyperpod-Cluster darunter CloudWatch enthält. Um sie in Ihrem Browser anzuzeigen, navigieren Sie in Ihrem Konto zur CloudWatch Startseite und suchen Sie nach Ihrem Clusternamen. Wenn Ihr Cluster beispielsweise aufgerufen würde, hätte my-hyperpod-rig die Protokollgruppe das Präfix:
+ Protokollgruppe:/aws/sagemaker/Clusters/my-hyperpod-rig/ \$1UUID\$1
+ Sobald Sie in der Protokollgruppe sind, können Sie Ihr spezifisches Protokoll anhand der Knoteninstanz-ID finden, z. B. - hyperpod-i-00b3d8a1bf25714e4.
+ i-00b3d8a1bf25714e4 steht hier für den hyperpod-freundlichen Computernamen, auf dem Ihr Trainingsjob ausgeführt wird. Erinnern Sie sich, wie wir in der Ausgabe des vorherigen Befehls kubectl get pods -o wide -w -n kubeflow \$1 (head -n1; grep) eine Spalte namens NODE erfasst haben. my-cpt-run
+ Der „Master“ -Knotenlauf lief in diesem Fall auf hyperpod-i-00b3d8a1bf25714e4 und daher verwenden wir diese Zeichenfolge, um die anzuzeigende Protokollgruppe auszuwählen. Wählen SagemakerHyperPodTrainingJob Sie die Datei mit der Aufschrift /rig-group/ [NODE]
Ihre Logs sollten ungefähr so aussehen:
### b) CloudWatch Insights verwenden
Wenn Sie Ihren Jobnamen griffbereit haben und nicht alle oben genannten Schritte durchführen möchten, können Sie einfach alle Logs unter/aws/sagemaker/Clusters/my-hyperpod-rig/ \$1UUID\$1 abfragen, um das individuelle Protokoll zu finden.
CPT
```
fields @timestamp, @message, @logStream, @log
| filter @message like /(?i)Starting CPT Job/
| sort @timestamp desc
| limit 100
```
Um den Job abzuschließen, ersetzen Sie „SFT-Job starten“ durch „SFT-Job abgeschlossen“.
Dann können Sie sich durch die Ergebnisse klicken und das Ergebnis mit der Aufschrift „Epoche 0" auswählen, da dies Ihr Masternode sein wird.
### C) Verwenden der AWS-CLI
Sie können sich dafür entscheiden, Ihre Protokolle mit dem zu verfolgen. Bevor Sie dies tun, überprüfen Sie bitte Ihre AWS-CLI-Version mit aws --version. Es wird auch empfohlen, dieses Utility-Skript zu verwenden, das bei der Live-Protokollverfolgung in Ihrem Terminal hilft
für V1:
```
aws logs get-log-events \
--log-group-name /aws/sagemaker/YourLogGroupName \
--log-stream-name YourLogStream \
--start-from-head | jq -r '.events[].message'
```
für V2:
```
aws logs tail /aws/sagemaker/YourLogGroupName \
--log-stream-name YourLogStream \
--since 10m \
--follow
```
### D) Richten Sie ML Flow ein:
Sie können Metriken verfolgen über MLFlow.
Erstellen Sie eine MLflow App
Verwenden der Studio-Benutzeroberfläche: Wenn Sie einen Schulungsjob über die Studio-Benutzeroberfläche erstellen, wird automatisch eine MLflow Standard-App erstellt und standardmäßig unter Erweiterte Optionen ausgewählt.
CLI verwenden: Wenn Sie die CLI verwenden, müssen Sie eine MLflow App erstellen und sie als Eingabe an die API-Anfrage für den Trainingsjob übergeben.
```
mlflow_app_name=""
role_arn=""
bucket_name=""
region=""
mlflow_app_arn=$(aws sagemaker create-mlflow-app \
--name $mlflow_app_name \
--artifact-store-uri "s3://$bucket_name" \
--role-arn $role_arn \
--region $region)
```
Greifen Sie auf die MLflow App zu
Verwenden von CLI: Erstellen Sie eine vorsignierte URL für den Zugriff auf die MLflow App-Benutzeroberfläche:
```
aws sagemaker create-presigned-mlflow-app-url \
--arn $mlflow_app_arn \
--region $region \
--output text
```
Sobald ML Flow eingerichtet ist, können Sie den URI in Ihrem Rezept übergeben oder Override verwenden, wenn Sie den Job starten. Ein Beispiel dafür, wie das geht, finden Sie in README.
## Wie evaluieren Sie Ihr Modell nach SFT?
### Voraussetzungen
+ Checkpoint S3-URI aus der Datei manifest.json Ihres Trainingsjobs (für trainierte Modelle)
+ Der Bewertungsdatensatz wurde im richtigen Format auf S3 hochgeladen
+ S3-Pfad für die Evaluierungsergebnisse ausgeben
Sofort einsatzbereite Benchmarks: Verwenden Sie sofort einsatzbereite Benchmarks, um die Leistung bei allgemeinen Aufgaben zu validieren. Weitere Einzelheiten finden Sie hier.
### Bringen Sie Ihre eigenen Daten mit:
Sie können Ihre benutzerdefinierten Daten auch angeben, indem Sie sie im folgenden Format formatieren und dann die unten genannten Container verwenden, um bei Bedarf Inferenzergebnisse zusammen mit Protokollwahrscheinlichkeiten für Kalibrierungen zu erhalten.
Erstellen Sie jsonl pro Aufgabe mit der folgenden Struktur:
```
{
"metadata": "{key:4, category:'apple'}",
"system": "arithmetic-patterns, please answer the following with no other words: ",
"query": "What is the next number in this series? 1, 2, 4, 8, 16, ?",
"response": "32"
}
```
Die während der Inferenzphase der Evaluierung generierten Ergebnisse werden wie folgt strukturiert sein:
```
{
"prompt": "[{'role': 'system', 'content': 'arithmetic-patterns, please answer the following with no other words: '}, {'role': 'user', 'content': 'What is the next number in this series? 1, 2, 4, 8, 16, ?'}]",
"inference": "['32']",
"gold": "32",
"metadata": "{key:4, category:'apple'}"
}
```
Beschreibungen der Felder:
+ Eingabeaufforderung: Formatierte Eingabe wurde an das Modell gesendet
+ Inferenz: Die generierte Antwort des Modells
+ Gold: Richtige Antwort aus dem Eingabedatensatz erwartet, Antwortfeld aus der Eingabe
+ Metadaten: Optionale Metadaten, die von der Eingabe übergeben wurden
### Evaluierungskonfiguration vorbereiten
Befehl zum Starten des Evaluierungsjobs. Verwenden Sie „--override-parameters“, um einen beliebigen Eintrag aus dem Rezept zu ändern.
```
hyperpod start-job -n kubeflow \
--recipe evaluation/nova/nova_micro_p5_48xl_bring_your_own_dataset_eval \
--override-parameters '{
"instance_type": "p5.48xlarge",
"container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest",
"recipes.run.name": "",
"recipes.run.model_name_or_path": "",
"recipes.run.output_s3_path": "s3:///eval-results/",
"recipes.run.data_s3_path": "s3:///eval-data.jsonl"
}'
```
### Starten Sie Ihren Bewertungsjob
Befehle zum Starten von Job für verschiedene Rezepte mit entsprechenden Bildern.
**Befehle zum Starten von Evaluierungsaufträgen**
| Modell | Technik | Unterkategorie | Image-URI | Befehl |
| --- | --- | --- | --- | --- |
| Nova 2.0 | Bewertung | Eval | 708977205387.dkr. ecr.us-east-1.amazonaws.com /:sm-HP-eval-latest nova-evaluation-repo | hyperpod start-job -n kubeflow\$1 --recipe -evaluation-repo:sm-hp-eval-latest“\$1 'evaluation/nova/nova\$12\$10/nova\$1lite/nova\$1lite\$12\$10\$1p5\$148xl\$1gpu\$1ft\$1eval \$1 --override-parameters '\$1 "instance\$1type": "ml.p5.48xlarge", "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova |
## Gelernte Erkenntnisse und Tipps
+ Die Qualität des SFT-Datensatzes ist entscheidend. Sie sollten alle Anstrengungen unternehmen, um Daten von geringer Qualität herauszufiltern. Wenn Sie über eine kleine Teilmenge von Daten verfügen, die sowohl in Bezug auf Komplexität als auch Genauigkeit von außergewöhnlich hoher Qualität sind, sollten Sie erwägen, diese gegen Ende des Trainings zu platzieren, damit das Modell besser konvergiert.
+ Wir nutzen sowohl Text- als auch multimodale (MM) Datensätze für die Datenmischung. Unsere Experimente mit Textdatensätzen zeigen, dass das Hinzufügen der firmeneigenen Kategorie „reasoning-instruction-following" von Nova die Leistung bei generischen Benchmarks erheblich verbessert. Wir empfehlen, diese Kategorie in Ihre Strategie zur Datenmischung aufzunehmen, wenn Sie generische Benchmarks bevorzugen, die nach der SFT-Analyse Ihrer Datensätze eine Regression aufweisen.
+ Bei MM-Datensätzen deuten unsere Experimente darauf hin, dass die Einbeziehung von über 20% der Videokategorien in den Mix für die Aufrechterhaltung der generischen Benchmark-Leistung von Vorteil ist.
+ Darüber hinaus reagiert SFT mit Datenmischung sehr empfindlich auf die Lernrate, weshalb unsere Ergebnisse eine Feinabstimmung mit der Standard-Lernrate, d. h. 1e-5 für LoRa und 5e-6 für FR, nahelegen.
+ Schließlich gibt es einen Kompromiss zwischen Latenz und Leistung, wenn Sie Nova-eigene Datensätze mischen. Unseren Ergebnissen zufolge sollten Sie also ein ausgewogenes Verhältnis von maximal 50% erzielen.
# Reinforcement Learning
**Anmerkung**
Eine ausführliche Dokumentation wird nach dem Abonnieren zur Verfügung gestellt
Nova Forge bietet erweiterte Reinforcement-Learning-Funktionen mit der Option, Remote-Belohnungsfunktionen in Ihrer eigenen Umgebung zu verwenden. Kunden können wählen, ob sie ihren eigenen Endpunkt integrieren, um die Validierung durchzuführen, um sofort Feedback aus der Praxis zu erhalten, oder sogar ihren eigenen Orchestrator verwenden, um behördliche Multi-Turn-Evaluierungen in Ihrer Umgebung zu koordinieren.
## Verwenden Sie Ihren eigenen Orchestrator für behördliche Multi-Turn-Evaluierungen
Für Forge-Benutzer, die Multi-Turn-Konversationen oder Prämienfunktionen mit einer Wartezeit von mehr als 15 Minuten benötigen, bietet Nova Forge BYOO-Funktionen (Bring Your Own Orchestration). Auf diese Weise können Sie behördliche Multiturn-Evaluierungen in Ihrer Umgebung koordinieren (z. B. mithilfe von Chemie-Tools zur Bewertung molekularer Designs oder Robotiksimulationen, die effiziente Aufgabenerfüllung belohnen und Kollisionen bestrafen).
**Topics**
+ [
### Übersicht über die Architektur
](#nova-hp-rft-forge-architecture)
+ [
### Einrichtung und Ausführung
](#nova-hp-rft-forge-setup)
### Übersicht über die Architektur
Die BYOO-Architektur bietet über eine vom Kunden verwaltete Infrastruktur die volle Kontrolle über den Rollout- und Generierungsprozess.
**Schulung VPC:**
+ **Rollout**: Koordiniert die Schulung, indem die Rollout-Generierung an die Kundeninfrastruktur delegiert wird
+ **Trainer**: Führt auf der Grundlage der eingegangenen Rollouts Aktualisierungen des Modellgewichts durch
**Kunden-VPC (z. B. ECS auf EC2):**
+ **Proxy Lambda**: Empfängt Rollout-Anfragen und koordiniert sich mit der Kundeninfrastruktur
+ **Rollout Response SQS**: Warteschlange für die Rückgabe abgeschlossener Rollouts an die Trainingsinfrastruktur
+ **Anfrage generieren SQS**: Warteschlange für Anfragen zur Modellgenerierung
+ **Antwort generieren SQS**: Warteschlange für Antworten zur Modellgenerierung
+ **Kundencontainer**: Implementiert eine benutzerdefinierte Orchestrierungslogik (kann das mitgelieferte Starterkit verwenden)
+ **DynamoDB**: Speichert den Status während des Orchestrierungsprozesses und ruft ihn ab
**Arbeitsablauf:**
1. Rollout delegiert die Rollout-Generierung an Proxy Lambda
1. Proxy Lambda überträgt die Rollout-API-Anfrage an Generate Request SQS
1. Der Kundencontainer verarbeitet Anfragen, verwaltet Multi-Turn-Interaktionen und ruft Belohnungsfunktionen auf
1. Der Container speichert den Status nach Bedarf und ruft ihn von DynamoDB ab
1. Container überträgt Rollout-Antworten an Rollout Response SQS
1. Rollout sendet abgeschlossene Rollouts zur Gewichtsaktualisierung an Trainer
### Einrichtung und Ausführung
Detaillierte Anweisungen zur Einrichtung, Rezeptkonfigurationen, Anfrage- und Antwortformate sowie Umgebungsbeispiele finden Sie in der vertraulichen Dokumentation, die Nova Forge-Abonnenten zur Verfügung gestellt wird. Gehen Sie wie folgt vor, um die Nova Forge-Dokumente zu erhalten:
```
aws s3 cp s3://nova-forge-c7363-206080352451-us-east-1/v1/ ./ --recursive
```
Sobald die Assets heruntergeladen wurden, finden Sie die gesamte Dokumentation unter dem `docs` Ordner.
# Verantwortliches KI-Toolkit und Moderation von Inhalten
## Toolkit für verantwortungsvolle KI
Nova Forge bietet ein Toolkit für verantwortungsvolle KI, das Schulungs- und Bewertungsdaten enthält, um Modelle während des Trainingsprozesses an die Richtlinien für verantwortungsvolle KI von Amazon Nova anzupassen, sowie Laufzeitkontrollen zur Moderation der Modellreaktionen während der Inferenz.
**Trainingsdaten** — Fälle und Szenarien, in denen verantwortungsvolle KI-Prinzipien, Sicherheitsaspekte und verantwortungsvoller Technologieeinsatz im Vordergrund stehen, stehen für die Mischung von Daten zur Verfügung, um die Modelle während der weiteren Trainingsvorbereitung verantwortungsbewusst aufeinander abzustimmen.
**Evaluationen** — Evaluationen, in denen die Fähigkeit des Modells getestet wird, unangemessene, schädliche oder falsche Inhalte zu erkennen und abzulehnen, stehen als Benchmark-Aufgabe zur Verfügung, um den Unterschied zwischen der Leistung des Basismodells und der Leistung kundenspezifischer Modelle zu ermitteln.
**Laufzeitkontrollen** — Standardmäßig steuert die Laufzeit von Amazon Nova moderate Modellreaktionen während der Inferenz. Um diese Laufzeitsteuerungen zu ändern, fordern Sie die anpassbaren Einstellungen für die Inhaltsmoderation von Amazon Nova an, indem Sie sich an einen AWS Kundenbetreuer wenden.
Sicherheit liegt in der gemeinsamen Verantwortung der Benutzer AWS und der Benutzer. Eine Änderung des Basismodells oder die kontinuierliche Durchführung von Vorschulungen zur Verbesserung der Leistung in einem bestimmten Anwendungsfall kann sich auf die Sicherheit, Fairness und andere Eigenschaften des neuen Modells auswirken. Eine robuste Anpassungsmethode minimiert Änderungen an den in Basismodellen integrierten Sicherheits-, Fairness- und anderen Schutzmaßnahmen und minimiert gleichzeitig die Auswirkungen auf die Modellleistung bei Aufgaben, für die das Modell nicht maßgeschneidert wurde. End-to-endDas Testen von Anwendungen anhand von Datensätzen, die für Anwendungsfälle repräsentativ sind, ist erforderlich, um festzustellen, ob die Testergebnisse den spezifischen Erwartungen in Bezug auf Sicherheit, Fairness und andere Eigenschaften sowie die Gesamteffektivität entsprechen. Weitere Informationen finden Sie im Amazon Web Services-Leitfaden zur verantwortungsvollen Nutzung von KI, in der Amazon Web Services Services-Richtlinie für verantwortungsvolle KI, in der Amazon Web Services Services-Richtlinie zur akzeptablen Nutzung und in den Nutzungsbedingungen von Amazon Web Services.