View a markdown version of this page

Resep Amazon Nova - Amazon Nova
Mendapatkan resep dasarMendapatkan resep ForgeModel dan algoritma yang tersediaAmazon Nova LiteAmazon Nova MikroAmazon Nova Pro

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Resep Amazon Nova

Anda bisa mendapatkan resep Amazon Nova dari repositori resep. Resep Amazon Nova adalah file konfigurasi YAMM yang memberikan detail SageMaker tentang cara menjalankan pekerjaan penyesuaian model Anda. Ini memberikan nama model dasar, menetapkan hyperparameters pelatihan, mendefinisikan pengaturan pengoptimalan, dan menyertakan opsi tambahan yang diperlukan untuk menyempurnakan atau melatih model dengan sukses.

Anda juga dapat mengakses resep Amazon Nova melalui Amazon SageMaker Studio dan dengan menavigasi ke hub model, memilih AWS, dan menjelajahi model Amazon Nova untuk menemukan resep terkait. Baik Amazon SageMaker Studio maupun menyediakan contoh buku catatan untuk setiap resep, yang mencakup semua langkah yang diperlukan untuk memodifikasi resep dan menjalankan pekerjaan penyesuaian menggunakan pekerjaan atau SageMaker HyperPod lingkungan SageMaker pelatihan.

Untuk mengakses halaman resep di Amazon SageMaker Studio, peran eksekusi harus memiliki izin berikut.

JSON
{
    "Version":"2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::*model-customization-recipes*"
            ]
        }
    ]
}

Untuk menjalankan contoh buku catatan tentang pekerjaan SageMaker pelatihan dan, gunakan salah satu versi gambar SageMaker distribusi berikut:2.7.1+,, 2.8.0+3.2.1+,3.3.0+. Ini berlaku untuk Amazon SageMaker Studio dan.

Mendapatkan resep Amazon Nova

Untuk mendapatkan resep dasar Amazon Nova, kloning repositori resep dengan menjalankan perintah berikut.

git clone https://github.com/aws/sagemaker-hyperpod-recipes.git

Resep dasar tersedia di recipes_collection/recipes/.

cd recipes_collection/recipes/

Resep kustomisasi Amazon Nova ada di folder berikut.

Jenis resep Folder
SFT (Full-rank dan PEFT), PPO, DPO (dan PEFT) Full-rank baik- tuning/nova
Evaluasi evaluation/nova
CPT training/nova

Mendapatkan resep Amazon Nova Forge

Untuk mengakses resep Amazon Nova Forge khusus untuk pekerjaan, silakan atur akses Anda ke Amazon Nova Forge dan kemudian ikuti lokakarya ini untuk menyiapkan CLI versi Forge. Untuk Pekerjaan SageMaker Pelatihan, AWS Konsol dan Nova Forge SDK akan secara otomatis mengakses resep Forge.

Model dan algoritma yang tersedia

Tabel berikut merangkum ketersediaan kustomisasi untuk model Amazon Nova dan algoritma yang didukung menggunakan. SageMaker

Nama model

ID Model

Fine-tuning

Catatan

Amazon Nova Lite 2.0

amazon.nova-2-lite-v 1:0:256 k

Ya

  • SFT - Menerima and/or gambar teks atau and/or video teks sebagai input dan menghasilkan teks sebagai output. Satu pekerjaan tidak dapat menggabungkan teks, gambar, dan video dalam proses yang sama.

  • DPO - Menerima teks dan gambar sebagai input dan menghasilkan teks sebagai output.

  • RFT - Menerima teks dan gambar sebagai input untuk percakapan satu putaran dan menghasilkan teks sebagai output. Peningkatan kemampuan pengoptimalan hadiah.

Amazon Nova Lite

Tabel di bawah ini mencantumkan informasi rinci tentang referensi resep Amazon Nova Lite.

Model Category/Sub-category Teknik Nama Resep Image URI (Lowongan Pelatihan) Gambar URI (SageMaker HyperPod) Instans Komputasi
Nova Lite Training/Fine-tuning Diawasi Fine-Tuning (LoRa)

nova_lite_1_0_g5_g6_12x_gpu_lora_sft.yaml

nova_lite_1_0_g5_g6_48x_gpu_lora_sft.yaml

nova_lite_1_0_p5_p4d_gpu_lora_sft.yaml

 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest

ml.p5.48xlarge, ml.p5en.48xlarge,

ml.g5.12xlarge, ml.g6.12xlarge,

ml.g5.48xlarge, ml.g6.48xlarge
Nova Lite Training/Fine-tuning Diawasi Fine-Tuning (Penuh) nova_lite_1_0_p5_p4d_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Lite Training/Fine-tuning Optimasi Preferensi Langsung (Penuh) nova_lite_1_0_p5_p4d_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Lite Training/Fine-tuning Optimasi Preferensi Langsung (LoRa)

nova_lite_1_0_p5_p4d_gpu_lora_dpo.yaml

nova_lite_1_0_g5_g6_48x_gpu_lora_dpo.yaml

 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest

ml.p5.48xlarge, ml.p5en.48xlarge,

ml.g5.48xlarge, ml.g6.48xlarge
Nova Lite Training/Reinforcement belajar Penguatan Fine-Tuning (RFT) nova_lite_1_0_p5_gpu_ppo.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Lite Training/Continued Pre-Training Lanjutan Pre-Training (model dasar) nova_lite_gpu_p5x16_pretrain.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Lite Evaluation/Evaluate Tolok ukur teks standar nova_lite_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Evaluation/Evaluate Evaluasi dataset kustom nova_lite_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Evaluation/Evaluate Multi-modal tolok ukur nova_lite_p5_48_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Evaluation/Evaluate LLM sebagai Hakim nova_lite_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge

Amazon Nova Mikro

Tabel di bawah ini mencantumkan informasi rinci tentang referensi resep Amazon Nova Micro.

Model Category/Sub-category Teknik Nama Resep Image URI (Lowongan Pelatihan) Gambar URI (SageMaker HyperPod) Instans Komputasi
Nova Mikro Training/Fine-tuning Diawasi Fine-Tuning (LoRa)

nova_micro_1_0_p5_p4d_gpu_lora_sft.yaml

nova_micro_1_0_g5_g6_12x_gpu_lora_sft.yaml

nova_micro_1_0_g5_g6_48x_gpu_lora_sft.yaml

 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest

ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge,

ml.g5.12xlarge, ml.g6.12xlarge,

ml.g5.48xlarge, ml.g6.48xlarge
Nova Mikro Training/Fine-tuning Diawasi Fine-Tuning (Penuh)

nova_micro_1_0_p5_p4d_gpu_sft.yaml

nova_micro_1_0_g5_g6_48x_gpu_sft.yaml

 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest

ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge,

ml.g5.48xlarge, ml.g6.48xlarge
Nova Mikro Training/Fine-tuning Optimasi Preferensi Langsung (LoRa)

nova_micro_1_0_g5_g6_12x_gpu_lora_dpo.yaml

nova_micro_1_0_g5_g6_48x_gpu_lora_dpo.yaml

nova_micro_1_0_p5_p4d_gpu_lora_dpo.yaml

 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest

ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge,

ml.g5.12xlarge, ml.g6.12xlarge,

ml.g5.48xlarge, ml.g6.48xlarge
Nova Mikro Training/Fine-tuning Optimasi Preferensi Langsung (Penuh) nova_micro_1_0_p5_p4d_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge
Nova Mikro Training/Reinforcement belajar Penguatan Fine-Tuning (RFT) nova_micro_1_0_p5_gpu_ppo.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Mikro Training/Continued Pre-Training Lanjutan Pre-Training (Model Dasar) nova_micro_gpu_p5x8_pretrain.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Mikro Evaluation/Evaluate Tolok ukur teks umum nova_micro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Mikro Evaluation/Evaluate Bawa benchmark dataset (gen_qa) Anda sendiri nova_micro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Mikro Evaluation/Evaluate LLM sebagai Hakim nova_micro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge

Amazon Nova Pro

Tabel di bawah ini mencantumkan informasi rinci tentang referensi resep Amazon Nova Pro.

Model Category/Sub-category Teknik Nama Resep Image URI (Lowongan Pelatihan) Gambar URI (SageMaker HyperPod) Instans Komputasi
Nova Pro Training/Fine-tuning Diawasi Fine-Tuning (LoRa) nova_pro_1_0_p5_p4d_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge
Nova Pro Training/Fine-tuning Diawasi Fine-Tuning (Penuh) nova_pro_1_0_p5_p4d_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Pro Training/Fine-tuning Optimasi Preferensi Langsung (Penuh) nova_pro_1_0_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Pro Training/Fine-tuning Optimasi Preferensi Langsung (LoRa) nova_pro_1_0_p5_p4d_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge
Nova Pro Training/Reinforcement belajar Penguatan Fine-Tuning (RFT) nova_pro_1_0_p5_gpu_ppo.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Pro Training/Continued Pre-Training Lanjutan Pre-Training (Model Dasar) nova_pro_gpu_p5x24_pretrain.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Pro Training/Data augmentasi Distilasi model untuk pasca pelatihan nova_pro_r5_cpu_distill.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST ml.r5.24xlarge
Nova Pro Evaluation/Evaluate Tolok ukur teks standar nova_pro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Evaluation/Evaluate Evaluasi dataset khusus nova_pro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Evaluation/Evaluate Multi-modal tolok ukur nova_pro_p5_48xl_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Evaluation/Evaluate LLM sebagai Hakim nova_pro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge