Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Kustomisasi Amazon Nova pada SageMaker HyperPod
Anda dapat menyesuaikan model Amazon Nova, termasuk model Nova 2.0 yang disempurnakan, menggunakan resep Amazon Nova dan melatihnya di Hyperpod. Resep adalah file konfigurasi YAML yang memberikan detail kepada SageMaker AI tentang cara menjalankan pekerjaan kustomisasi model Anda. SageMaker HyperPod mendukung dua jenis layanan: Forge dan Non-forge.
Hyperpod menawarkan komputasi berkinerja tinggi dengan instans GPU yang dioptimalkan dan Amazon FSx untuk penyimpanan Lustre, pemantauan yang kuat melalui integrasi dengan alat seperti TensorBoard, manajemen pos pemeriksaan fleksibel untuk peningkatan berulang, penerapan mulus ke Amazon Bedrock untuk inferensi, dan pelatihan terdistribusi multi-node yang dapat diskalakan yang efisien - semuanya bekerja bersama untuk menyediakan organisasi dengan lingkungan yang aman, berkinerja, dan fleksibel untuk menyesuaikan model Nova dengan kebutuhan bisnis spesifik mereka.
Kustomisasi Amazon Nova pada SageMaker HyperPod menyimpan artefak model termasuk pos pemeriksaan model dalam bucket Amazon S3 yang dikelola layanan. Artefak dalam bucket yang dikelola layanan dienkripsi dengan SageMaker AI-managed AWS KMS kunci. Service-managed Bucket Amazon S3 saat ini tidak mendukung enkripsi data menggunakan kunci KMS yang dikelola pelanggan. Anda dapat menggunakan lokasi pos pemeriksaan ini untuk pekerjaan evaluasi atau inferensi Amazon Bedrock.
Harga standar dapat berlaku untuk instans komputasi, penyimpanan Amazon S3, dan FSx untuk Lustre. Untuk detail harga, lihat harga Hyperpod
Persyaratan komputasi untuk model Amazon Nova 1
Tabel berikut merangkum persyaratan komputasi untuk SageMaker HyperPod dan pelatihan pekerjaan pelatihan SageMaker AI untuk model Nova 1.0.
Model |
Panjang urutan |
Node |
Instans |
Akselerator |
|---|---|---|---|---|
Amazon Nova Mikro |
8.192 |
8 |
ml.p5.48xbesar |
GPU H100 |
Amazon Nova Lite |
8.192 |
16 |
ml.p5.48xbesar |
GPU H100 |
Amazon Nova Pro |
8.192 |
12 |
ml.p5.48xbesar |
GPU H100 |
Model |
Panjang urutan |
Jumlah node |
Instans |
Akselerator |
|---|---|---|---|---|
Optimasi Preferensi Langsung (Penuh) |
32.768 |
2, 4, atau 6 |
ml.p5.48xbesar |
GPU H100 |
Pengoptimalan Preferensi Langsung (LoRa) |
32.768 |
2, 4, atau 6 |
ml.p5.48xbesar |
GPU H100 |
Model |
Teknik |
Panjang urutan |
Jumlah node |
Instans |
Akselerator |
|---|---|---|---|---|---|
| Amazon Nova 1 Mikro |
Diawasi Fine-Tuning (LoRa) |
65,536 |
2 |
ml.p5.48xbesar |
GPU H100 |
| Amazon Nova 1 Mikro |
Diawasi Fine-Tuning (Penuh) |
65,536 |
2 |
ml.p5.48xbesar |
GPU H100 |
| Amazon Nova 1 Lite |
Diawasi Fine-Tuning (LoRa) |
32.768 |
4 |
ml.p5.48xbesar |
GPU H100 |
| Amazon Nova 1 Lite |
Diawasi Fine-Tuning (Penuh) |
65,536 |
4 |
ml.p5.48xbesar |
GPU H100 |
| Amazon Nova 1 Pro |
Diawasi Fine-Tuning (LoRa) |
65,536 |
6 |
ml.p5.48xbesar |
GPU H100 |
| Amazon Nova 1 Pro |
Diawasi Fine-Tuning (Penuh) |
65,536 |
6 |
ml.p5.48xbesar |
GPU H100 |
Model |
Node |
Instans |
|---|---|---|
Model Distilasi untuk Post-Training |
1 |
ml.r5.24xlarge |
Model |
Panjang urutan |
Node |
Instans |
Akselerator |
|---|---|---|---|---|
Resep Tolok Ukur Teks Umum |
8.192 |
1 |
ml.p5.48xbesar |
GPU H100 |
Bawa resep benchmark dataset (gen_qa) Anda sendiri |
8.192 |
1 |
ml.p5.48xbesar |
GPU H100 |
Amazon Nova LLM sebagai Resep Juri |
8.192 |
1 |
ml.p5.48xbesar |
GPU H100 |
Tolok Ukur Teks Standar |
8.192 |
1 |
ml.p5.48xbesar |
GPU H100 |
Evaluasi Dataset Kustom |
8.192 |
1 |
ml.p5.48xbesar |
GPU H100 |
Multi-Modal Tolok Ukur |
8.192 |
1 |
ml.p5.48xbesar |
GPU H100 |
Model |
Jumlah Instance Model Kritik |
Jumlah Instans Model Hadiah |
Jumlah Instans Model Jangkar |
Kereta Aktor |
Generasi Aktor |
Jumlah Instance |
Total Jam Per Lari |
Jam P5 |
Tipe Instans |
|---|---|---|---|---|---|---|---|---|---|
Amazon Nova Mikro |
1 |
1 |
1 |
2 |
2 |
7 |
8 |
56 |
ml.p5.48xbesar |
Amazon Nova Lite |
1 |
1 |
1 |
2 |
2 |
7 |
16 |
112 |
ml.p5.48xbesar |
Amazon Nova Pro |
1 |
1 |
1 |
6 |
2 |
11 |
26 |
260 |
ml.p5.48xbesar |