Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Personalizzazione di Amazon Nova su SageMaker HyperPod
Puoi personalizzare i modelli Amazon Nova, inclusi i modelli Nova 2.0 avanzati, utilizzando le ricette Amazon Nova e addestrarli su Hyperpod. Una ricetta è un file di configurazione YAML che fornisce dettagli all' SageMaker IA su come eseguire il processo di personalizzazione del modello. SageMaker HyperPod supporta due tipi di servizi: Forge e. Non-forge
Hyperpod offre elaborazione ad alte prestazioni con istanze GPU ottimizzate e storage Amazon FSx for Lustre, un monitoraggio affidabile tramite l'integrazione con strumenti come TensorBoard la gestione flessibile dei checkpoint per il miglioramento iterativo, la distribuzione senza interruzioni su Amazon Bedrock per l'inferenza e una formazione distribuita multinodo efficiente e scalabile, che collaborano per fornire alle organizzazioni un ambiente sicuro, performante e flessibile per adattare i modelli Nova ai loro requisiti aziendali specifici.
Personalizzazione di Amazon Nova SageMaker HyperPod sugli artefatti del modello, inclusi i checkpoint del modello, in un bucket Amazon S3 gestito dal servizio. Gli artefatti nel bucket gestito dal servizio sono crittografati con chiavi. SageMaker AI-managed AWS KMS Service-managed I bucket Amazon S3 attualmente non supportano la crittografia dei dati tramite chiavi KMS gestite dal cliente. È possibile utilizzare questa posizione di checkpoint per processi di valutazione o per l’inferenza Amazon Bedrock.
È possibile applicare prezzi standard per le istanze di calcolo, l’archiviazione Amazon S3 e FSx per Lustre. Per informazioni dettagliate sui prezzi, consulta i prezzi di Hyperpod
Requisiti di calcolo per i modelli Amazon Nova 1
Le tabelle seguenti riassumono i requisiti computazionali SageMaker HyperPod e la formazione dei lavori di formazione con SageMaker intelligenza artificiale per i modelli Nova 1.0.
Modello |
Lunghezza della sequenza |
Nodi |
Istanza |
Accelerator |
|---|---|---|---|---|
Amazon Nova Micro |
8,192 |
8 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Lite |
8,192 |
16 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Pro |
8,192 |
12 |
ml.p5.48xlarge |
GPU H100 |
Modello |
Lunghezza della sequenza |
Numero di nodi |
Istanza |
Accelerator |
|---|---|---|---|---|
Ottimizzazione diretta delle preferenze (completa) |
32,768 |
2, 4 o 6 |
ml.p5.48xlarge |
GPU H100 |
Ottimizzazione diretta delle preferenze (LoRA) |
32,768 |
2, 4 o 6 |
ml.p5.48xlarge |
GPU H100 |
Modello |
Tecnica |
Lunghezza della sequenza |
Numero di nodi |
Istanza |
Accelerator |
|---|---|---|---|---|---|
| Amazon Nova 1 Micro |
Supervisionato Fine-Tuning (LoRa) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Micro |
Supervisionato Fine-Tuning (completo) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Supervisionato Fine-Tuning (LoRa) |
32,768 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Supervisionato Fine-Tuning (completo) |
65.536 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Supervisionato Fine-Tuning (LoRa) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Supervisionato Fine-Tuning (completo) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
Modello |
Nodi |
Istanza |
|---|---|---|
Modello di distillazione per Post-Training |
1 |
ml.r5.24xlarge |
Modello |
Lunghezza della sequenza |
Nodi |
Istanza |
Accelerator |
|---|---|---|---|---|
Ricetta di benchmark testuali generali |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Ricetta di benchmark Bring-Your-Own-Dataset (gen_qa) |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Ricetta Amazon Nova LLM-as-a-judge |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Benchmark testuali standard |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Valutazione dei set di dati personalizzati |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Multi-Modal Parametri di riferimento |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Modello |
Numero di istanze del modello di critica |
Numero di istanze del modello di ricompensa |
Numero di istanze del modello di ancoraggio |
Addestramento attori |
Generazione attori |
Numero di istanze |
Ore totali per esecuzione |
Ore P5 |
Tipo di istanza |
|---|---|---|---|---|---|---|---|---|---|
Amazon Nova Micro |
1 |
1 |
1 |
2 |
2 |
7 |
8 |
56 |
ml.p5.48xlarge |
Amazon Nova Lite |
1 |
1 |
1 |
2 |
2 |
7 |
16 |
112 |
ml.p5.48xlarge |
Amazon Nova Pro |
1 |
1 |
1 |
6 |
2 |
11 |
26 |
260 |
ml.p5.48xlarge |