View a markdown version of this page

Kustomisasi Amazon Nova pada SageMaker HyperPod - Amazon Nova

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kustomisasi Amazon Nova pada SageMaker HyperPod

Anda dapat menyesuaikan model Amazon Nova, termasuk model Nova 2.0 yang disempurnakan, menggunakan resep Amazon Nova dan melatihnya di Hyperpod. Resep adalah file konfigurasi YAML yang memberikan detail kepada SageMaker AI tentang cara menjalankan pekerjaan kustomisasi model Anda. SageMaker HyperPod mendukung dua jenis layanan: Forge dan Non-forge.

Hyperpod menawarkan komputasi berkinerja tinggi dengan instans GPU yang dioptimalkan dan Amazon FSx untuk penyimpanan Lustre, pemantauan yang kuat melalui integrasi dengan alat seperti TensorBoard, manajemen pos pemeriksaan fleksibel untuk peningkatan berulang, penerapan mulus ke Amazon Bedrock untuk inferensi, dan pelatihan terdistribusi multi-node yang dapat diskalakan yang efisien - semuanya bekerja bersama untuk menyediakan organisasi dengan lingkungan yang aman, berkinerja, dan fleksibel untuk menyesuaikan model Nova dengan kebutuhan bisnis spesifik mereka.

Kustomisasi Amazon Nova pada SageMaker HyperPod menyimpan artefak model termasuk pos pemeriksaan model dalam bucket Amazon S3 yang dikelola layanan. Artefak dalam bucket yang dikelola layanan dienkripsi dengan SageMaker AI-managed AWS KMS kunci. Service-managed Bucket Amazon S3 saat ini tidak mendukung enkripsi data menggunakan kunci KMS yang dikelola pelanggan. Anda dapat menggunakan lokasi pos pemeriksaan ini untuk pekerjaan evaluasi atau inferensi Amazon Bedrock.

Harga standar dapat berlaku untuk instans komputasi, penyimpanan Amazon S3, dan FSx untuk Lustre. Untuk detail harga, lihat harga Hyperpod, harga Amazon S3, dan harga FSx untuk Lustre.

Persyaratan komputasi untuk model Amazon Nova 1

Tabel berikut merangkum persyaratan komputasi untuk SageMaker HyperPod dan pelatihan pekerjaan pelatihan SageMaker AI untuk model Nova 1.0.

Pre-training

Model

Panjang urutan

Node

Instans

Akselerator

Amazon Nova Mikro

8.192

8

ml.p5.48xbesar

GPU H100

Amazon Nova Lite

8.192

16

ml.p5.48xbesar

GPU H100

Amazon Nova Pro

8.192

12

ml.p5.48xbesar

GPU H100

Pengoptimalan preferensi langsung (DPO)

Model

Panjang urutan

Jumlah node

Instans

Akselerator

Optimasi Preferensi Langsung (Penuh)

32.768

2, 4, atau 6

ml.p5.48xbesar

GPU H100

Pengoptimalan Preferensi Langsung (LoRa)

32.768

2, 4, atau 6

ml.p5.48xbesar

GPU H100

Fine-tuning

Model

Teknik

Panjang urutan

Jumlah node

Instans

Akselerator

Amazon Nova 1 Mikro

Diawasi Fine-Tuning (LoRa)

65,536

2

ml.p5.48xbesar

GPU H100

Amazon Nova 1 Mikro

Diawasi Fine-Tuning (Penuh)

65,536

2

ml.p5.48xbesar

GPU H100

Amazon Nova 1 Lite

Diawasi Fine-Tuning (LoRa)

32.768

4

ml.p5.48xbesar

GPU H100

Amazon Nova 1 Lite

Diawasi Fine-Tuning (Penuh)

65,536

4

ml.p5.48xbesar

GPU H100

Amazon Nova 1 Pro

Diawasi Fine-Tuning (LoRa)

65,536

6

ml.p5.48xbesar

GPU H100

Amazon Nova 1 Pro

Diawasi Fine-Tuning (Penuh)

65,536

6

ml.p5.48xbesar

GPU H100

Distilasi

Model

Node

Instans

Model Distilasi untuk Post-Training

1

ml.r5.24xlarge

Evaluasi

Model

Panjang urutan

Node

Instans

Akselerator

Resep Tolok Ukur Teks Umum

8.192

1

ml.p5.48xbesar

GPU H100

Bawa resep benchmark dataset (gen_qa) Anda sendiri

8.192

1

ml.p5.48xbesar

GPU H100

Amazon Nova LLM sebagai Resep Juri

8.192

1

ml.p5.48xbesar

GPU H100

Tolok Ukur Teks Standar

8.192

1

ml.p5.48xbesar

GPU H100

Evaluasi Dataset Kustom

8.192

1

ml.p5.48xbesar

GPU H100

Multi-Modal Tolok Ukur

8.192

1

ml.p5.48xbesar

GPU H100

Optimalisasi kebijakan proksimal

Model

Jumlah Instance Model Kritik

Jumlah Instans Model Hadiah

Jumlah Instans Model Jangkar

Kereta Aktor

Generasi Aktor

Jumlah Instance

Total Jam Per Lari

Jam P5

Tipe Instans

Amazon Nova Mikro

1

1

1

2

2

7

8

56

ml.p5.48xbesar

Amazon Nova Lite

1

1

1

2

2

7

16

112

ml.p5.48xbesar

Amazon Nova Pro

1

1

1

6

2

11

26

260

ml.p5.48xbesar