View a markdown version of this page

Amazon Nova-Anpassung auf SageMaker HyperPod - Amazon Nova

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon Nova-Anpassung auf SageMaker HyperPod

Sie können Amazon Nova-Modelle, einschließlich der verbesserten Nova 2.0-Modelle, mithilfe von Amazon Nova-Rezepten anpassen und sie auf Hyperpod trainieren. Ein Rezept ist eine YAML-Konfigurationsdatei, die der SageMaker KI Details zur Ausführung Ihres Modellanpassungsjobs liefert. SageMaker HyperPod unterstützt zwei Arten von Diensten: Forge und Non-forge.

Hyperpod bietet Hochleistungsdatenverarbeitung mit optimierten GPU-Instances und Amazon FSx for Lustre-Speicher, robustes Monitoring durch Integration mit Tools wie flexiblem Checkpoint-Management zur iterativen Verbesserung TensorBoard, nahtlose Bereitstellung auf Amazon Bedrock für Inferenz und effizientes, skalierbares, verteiltes Training mit mehreren Knoten — all das arbeitet zusammen, um Unternehmen eine sichere, leistungsstarke und flexible Umgebung zu bieten, in der sie Nova-Modelle an ihre spezifischen Geschäftsanforderungen anpassen können.

Die Amazon Nova-Anpassung an SageMaker HyperPod speichert Modellartefakte, einschließlich Modell-Checkpoints, in einem vom Service verwalteten Amazon S3-Bucket. Artefakte im vom Service verwalteten Bucket werden mit Schlüsseln verschlüsselt. SageMaker AI-managed AWS KMS Service-managed Amazon S3-Buckets unterstützen derzeit keine Datenverschlüsselung mit vom Kunden verwalteten KMS-Schlüsseln. Sie können diesen Checkpoint-Standort für Bewertungsjobs oder Amazon-Bedrock-Inferenz verwenden.

Standardpreise können für Datenverarbeitungs-Instances, Amazon-S3-Speicher und FSx für Lustre gelten. Preisdetails finden Sie unter Hyperpod-Preise, Amazon S3-Preise und FSx for Lustre-Preise.

Berechnen Sie die Anforderungen für Amazon Nova 1-Modelle

In den folgenden Tabellen sind die Rechenanforderungen für Nova 1.0-Modelle SageMaker HyperPod und die Ausbildung im Bereich SageMaker KI für Jobs und Schulungen zusammengefasst.

Pre-training

Modell

Länge der Reihenfolge

Knoten

Instance

Accelerator

Amazon Nova Micro

8,192

8

ml.p5.48xlarge

GPU H100

Amazon Nova Lite

8,192

16

ml.p5.48xlarge

GPU H100

Amazon Nova Pro

8,192

12

ml.p5.48xlarge

GPU H100

Direct Preference Optimization (DPO)

Modell

Länge der Reihenfolge

Anzahl der Knoten

Instance

Accelerator

Direct Preference Optimization (vollständig)

32.768

2, 4 oder 6

ml.p5.48xlarge

GPU H100

Direct Preference Optimization (LoRA)

32.768

2, 4 oder 6

ml.p5.48xlarge

GPU H100

Fine-tuning

Modell

Technik

Länge der Reihenfolge

Anzahl der Knoten

Instance

Accelerator

Amazon Nova 1 Mikro

Betreut Fine-Tuning (LoRa)

65.536

2

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Mikro

Betreut Fine-Tuning (voll)

65.536

2

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Lite

Betreut Fine-Tuning (LoRa)

32.768

4

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Lite

Betreut Fine-Tuning (voll)

65.536

4

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Pro

Betreut Fine-Tuning (LoRa)

65.536

6

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Pro

Betreut Fine-Tuning (voll)

65.536

6

ml.p5.48xlarge

GPU H100

Destillation

Modell

Knoten

Instance

Modelldestillation für Post-Training

1

ml.r5.24xlarge

Bewertung

Modell

Länge der Reihenfolge

Knoten

Instance

Accelerator

Allgemeines Text-Benchmark-Rezept

8,192

1

ml.p5.48xlarge

GPU H100

Benchmark-Rezept mit eigenem Datensatz (gen_qa)

8,192

1

ml.p5.48xlarge

GPU H100

Rezept für Amazon Nova LLM-as-a-Judge

8,192

1

ml.p5.48xlarge

GPU H100

Standard-Text-Benchmarks

8,192

1

ml.p5.48xlarge

GPU H100

Benutzerdefinierte Datensatzbewertung

8,192

1

ml.p5.48xlarge

GPU H100

Multi-Modal Benchmarks

8,192

1

ml.p5.48xlarge

GPU H100

Proximal Policy Optimization

Modell

Anzahl der Instances im kritischen Modell

Anzahl der Instances im Belohnungsmodell

Anzahl der Instances im Ankermodell

Akteurtraining

Akteurgenerierung

Anzahl der Instances

Gesamtstunden pro Lauf

P5-Stunden

Instance-Typ

Amazon Nova Micro

1

1

1

2

2

7

8

56

ml.p5.48xlarge

Amazon Nova Lite

1

1

1

2

2

7

16

112

ml.p5.48xlarge

Amazon Nova Pro

1

1

1

6

2

11

26

260

ml.p5.48xlarge