Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris. # Nova Forge SDK Nova Forge SDK adalah SDK Python komprehensif untuk menyesuaikan model Amazon Nova. SDK menyediakan antarmuka terpadu untuk pelatihan, evaluasi, pemantauan, penyebaran, dan inferensi model Amazon Nova di berbagai platform termasuk SageMaker AI dan Amazon Bedrock. Baik Anda mengadaptasi model ke tugas khusus domain atau mengoptimalkan kinerja untuk kasus penggunaan Anda, SDK ini menyediakan semua yang Anda butuhkan dalam satu antarmuka terpadu. ## Manfaat + Satu SDK untuk seluruh siklus hidup kustomisasi model—mulai dari persiapan data hingga penerapan dan pemantauan. + Dukungan untuk beberapa metode pelatihan termasuk lanjutan pra-pelatihan (CPT), penyetelan halus yang diawasi (SFT), optimasi preferensi langsung (DPO), dan penyetelan halus penguatan (RFT), baik putaran tunggal maupun multi-putaran, dengan LoRa dan pendekatan peringkat penuh. + Dukungan bawaan untuk Pekerjaan SageMaker Pelatihan, SageMaker HyperPod, dan Amazon Bedrock, dengan manajemen sumber daya otomatis. + Tidak perlu lagi menemukan resep atau URI wadah yang tepat untuk teknik pelatihan Anda. + Bawa resep pelatihan Anda sendiri atau gunakan default cerdas SDK dengan penggantian parameter. + SDK memvalidasi konfigurasi Anda terhadap kombinasi model dan instance yang didukung dan menyediakan dukungan validasi, mencegah kesalahan sebelum pelatihan dimulai. + CloudWatch Pemantauan Amazon terintegrasi memungkinkan Anda melacak kemajuan pelatihan secara real-time. + Terintegrasi MLFlow untuk melacak eksperimen pelatihan dengan server MLFlow pelacak SageMaker AI. ## Persyaratan **Versi Python yang Didukung** Nova Forge SDK diuji pada: + Python 3.12 ## Penginstalan Untuk menginstal SDK ini, ikuti perintah di bawah ini. ``` pip install amzn-nova-forge ``` ## Model dan Teknik yang Didukung SDK mendukung model dan teknik berikut dalam keluarga Amazon Nova: **** | Metode | Model yang Didukung | | --- | --- | | Lanjutan Pra-pelatihan | [Semua Model Nova](https://docs.aws.amazon.com/sagemaker/latest/dg/nova-model-recipes.html#nova-model-recipes-reference) (hanya SMHP) | | LoRa Fine-tuning yang diawasi | [Semua Model Nova](https://docs.aws.amazon.com/sagemaker/latest/dg/nova-model-recipes.html#nova-model-recipes-reference) | | Peringkat Penuh Fine-tuning yang Diawasi | [Semua Model Nova](https://docs.aws.amazon.com/sagemaker/latest/dg/nova-model-recipes.html#nova-model-recipes-reference) (hanya SMHP dan SMTJ) | | Optimasi Preferensi Langsung LoRa | Model Nova 1.0 (hanya SMHP dan SMTJ) | | Optimasi Preferensi Langsung Peringkat Penuh | Model Nova 1.0 (hanya SMHP dan SMTJ) | | Penguatan Fine-tuning LoRa | Nova Lite 2.0 | | Penguatan Fine-tuning Peringkat Penuh | Nova Lite 2.0 (hanya SMHP dan SMTJ) | | LoRa Fine-tuning Penguatan Multi-putaran | Nova Lite 2.0 (Hanya SMHP) | | Penguatan Multi-putaran Fine-tuning Peringkat Penuh | Nova Lite 2.0 (Hanya SMHP) | ## Memulai **Topics** + [1. Siapkan Data Anda](#nova-forge-sdk-prepare-data) + [2. Konfigurasikan Infrastruktur Anda](#nova-forge-sdk-configure-infrastructure) + [3. Melatih](#nova-forge-sdk-train) + [4. Memantau](#nova-forge-sdk-monitor) + [5. Evaluasi](#nova-forge-sdk-evaluate) + [6. Deploy](#nova-forge-sdk-deploy) ### 1. Siapkan Data Anda Muat kumpulan data Anda dari file lokal atau S3, dan biarkan SDK menangani transformasi ke format yang benar untuk metode pelatihan yang Anda pilih. Atau, berikan data yang diformat dan segera mulai. ``` from amzn_nova_forge.dataset.dataset_loader import JSONLDatasetLoader from amzn_nova_forge.model.model_enums import Model, TrainingMethod, TransformMethod loader = JSONLDatasetLoader() loader.load("s3://your-bucket/training-data.jsonl") loader.transform( method=TransformMethod.SCHEMA, training_method=TrainingMethod.SFT_LORA, model=Model.NOVA_LITE, column_mappings={"question": "input", "answer": "output"}, ) ``` ### 2. Konfigurasikan Infrastruktur Anda Pilih sumber daya komputasi Anda—SDK memvalidasi konfigurasi dan memastikan penyiapan yang optimal. ``` from amzn_nova_forge.manager.runtime_manager import BedrockRuntimeManager, SMTJRuntimeManager, SMHPRuntimeManager # Bedrock runtime = BedrockRuntimeManager( execution_role="arn:aws:iam::123456789012:role/ExampleRole" ) # SageMaker Training Jobs runtime = SMTJRuntimeManager( instance_type="ml.p5.48xlarge", instance_count=4 ) # SageMaker HyperPod runtime = SMHPRuntimeManager( instance_type="ml.p5.48xlarge", instance_count=4, cluster_name="my-hyperpod-cluster", namespace="kubeflow" ) ``` ### 3. Melatih Mulai pelatihan hanya dengan beberapa baris kode. ``` from amzn_nova_forge.model import NovaModelCustomizer from amzn_nova_forge.model.model_enums import Model, TrainingMethod customizer = NovaModelCustomizer( model=Model.NOVA_LITE_2, method=TrainingMethod.SFT_LORA, infra=runtime, data_s3_path="s3://your-bucket/prepared-data.jsonl" ) result = customizer.train(job_name="my-training-job") ``` ### 4. Memantau Lacak kemajuan latihan Anda langsung dari SDK. ``` from amzn_nova_forge.monitor.log_monitor import CloudWatchLogMonitor # Monitor training logs customizer.get_logs() # Or monitor directly via CloudWatchLogMonitor monitor = CloudWatchLogMonitor.from_job_result(result) monitor.show_logs(limit=10) # Check job status result.get_job_status() # InProgress, Completed, Failed ``` ### 5. Evaluasi Evaluasi kinerja model dengan berbagai [tolok ukur bawaan](https://docs.aws.amazon.com/sagemaker/latest/dg/nova-model-evaluation.html#nova-model-evaluation-benchmark), atau rancang evaluasi Anda sendiri. ``` from amzn_nova_forge.recipe_config.eval_config import EvaluationTask # Evaluate on benchmark tasks eval_result = customizer.evaluate( job_name="model-eval", eval_task=EvaluationTask.MMLU, model_path=result.model_artifacts.checkpoint_s3_path ) ``` ### 6. Deploy Terapkan model khusus Anda ke produksi dengan dukungan bawaan untuk Amazon Bedrock atau. SageMaker ``` from amzn_nova_forge.model.model_enums import DeployPlatform # Bedrock provisioned throughput deployment = customizer.deploy( model_artifact_path=result.model_artifacts.checkpoint_s3_path, deploy_platform=DeployPlatform.BEDROCK_PT, unit_count=10 ) # Bedrock On-Demand deployment = customizer.deploy( model_artifact_path=result.model_artifacts.checkpoint_s3_path, deploy_platform=DeployPlatform.BEDROCK_OD ) # Sagemaker Real-time Inference deployment = customizer.deploy( model_artifact_path=result.model_artifacts.checkpoint_s3_path, deploy_platform=DeployPlatform.SAGEMAKER, unit_count=10, sagemaker_instance_type="ml.p5.48xlarge", sagemaker_environment_variables={ "CONTEXT_LENGTH": "12000", "MAX_CONCURRENCY": "16", } ) ``` ## Kemampuan Kunci ### Penciptaan Resep On The Fly SDK menghilangkan kebutuhan untuk mencari resep atau URI wadah yang sesuai untuk teknik tertentu. ### Pemrosesan Data Cerdas SDK secara otomatis mengubah data Anda menjadi format yang benar untuk pelatihan. Baik Anda bekerja dengan file JSON, JSONL, atau CSV, pemuat data menangani konversi dengan mulus. Data Loader mendukung teks serta data multimodal (gambar dan video). ### Dukungan Infrastruktur Perusahaan SDK bekerja dengan kedua Pekerjaan SageMaker Pelatihan dan SageMaker HyperPod, secara otomatis mengelola: + Validasi tipe instans + Validasi resep + Validasi kumpulan data + Orkestrasi dan pemantauan Job SDK juga mendukung SageMaker Training Jobs tanpa server dan kustomisasi Bedrock. ### Evaluasi komprehensif Evaluasi model khusus Anda terhadap [tolok ukur standar](https://docs.aws.amazon.com/sagemaker/latest/dg/nova-hp-evaluate.html) termasuk: + MMLU (Pemahaman Bahasa Multitask Besar-besaran) + BBH (Tugas Penalaran Tingkat Lanjut) + GPQA (Tanya Jawab Bukti Google Tingkat Pascasarjana) Baik menggunakan default benchmark, atau memodifikasinya agar sesuai dengan kebutuhan Anda: + BYOM (Bawa Metrik Anda Sendiri) + BYOD (Bawa Dataset Anda Sendiri) ### Penyebaran Produksi Terapkan model Anda ke Amazon Bedrock atau SageMaker dengan opsi untuk: + **Bedrock Provisioned Throughput** - Kapasitas khusus untuk kinerja yang konsisten + **Bedrock On-Demand (hanya berlaku untuk kustomisasi berbasis LoRa**) - harga Pay-per-use + **Sagemaker Real-time Inference** - Kapasitas khusus untuk kinerja yang konsisten ### Inferensi Batch Jalankan pekerjaan inferensi skala besar secara efisien: + Memproses ribuan permintaan secara paralel + Agregasi hasil otomatis + Pemrosesan batch hemat biaya ### Nova Forge Untuk pelanggan Nova Forge, SDK mendukung resep pencampuran data. ## Pelajari Lebih Lanjut Siap untuk mulai menyesuaikan model Nova dengan Nova Forge SDK? Lihat GitHub repositori kami untuk panduan terperinci, referensi API, dan contoh tambahan: [https://github.com/aws/nova-forge-sdk](https://github.com/aws/nova-forge-sdk)