Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Blocchi di capacità per ML
I Capacity Block for ML consentono di riservare istanze di elaborazione GPU-based accelerate in una data futura per supportare i carichi di lavoro di machine learning (ML) di breve durata. Le istanze eseguite all'interno di un Capacity Block vengono automaticamente posizionate vicine tra loro all'interno di Amazon EC2 UltraClusters
Puoi anche utilizzare Capacity Blocks per riservare capacità per Amazon EC2. UltraServers UltraServers connetti più istanze Amazon EC2 all'interno di un'interconnessione acceleratrice a bassa latenza e larghezza di banda elevata. Puoi utilizzarlo UltraServers per gestire i carichi di lavoro più impegnativi AI/ML in termini di elaborazione e memoria durante l'addestramento, la messa a punto e l'inferenza. Per ulteriori informazioni, consulta Amazon EC2 UltraServers
Con Blocchi di capacità puoi vedere quando la capacità dell'istanza GPU sarà disponibile nelle date future e pianificare l'avvio di un blocco di capacità di modo che inizi nel momento più adatto alle tue esigenze. Quando prenoti un blocco di capacità, ottieni una garanzia di capacità prevedibile per le istanze GPU pagando solo per il tempo necessario. Ti consigliamo di ricorrere ai blocchi di capacità quando hai bisogno di GPU per supportare i tuoi carichi di lavoro ML per giorni o settimane alla volta e non vuoi pagare una prenotazione mentre le tue istanze GPU non sono in uso.
Di seguito sono elencati alcuni casi d'uso comuni dei blocchi di capacità.
-
Addestramento e fine-tuning dei modelli di ML: ottieni un accesso ininterrotto alle istanze GPU che hai prenotato per completare l'addestramento e il fine-tuning dei modelli di ML.
-
Esperimenti e prototipi di ML: esegui esperimenti e crea prototipi che richiedono istanze GPU per brevi periodi.
I blocchi di capacità sono disponibili per determinati tipi di istanza in alcune regioni. AWS Per ulteriori informazioni, consulta Tipi di istanze e regioni supportati.
Puoi prenotare un blocco di capacità con un orario di inizio della prenotazione fino a otto settimane nel futuro. Ogni blocco di capacità può avere fino a 64 istanze e puoi avere fino a 256 istanze tra i blocchi di capacità.
Tipi di istanze e regioni supportati
I blocchi UltraServer di istanza e capacità possono essere utilizzati con i seguenti tipi di istanza e AWS aree.
Nota
Le dimensioni dei blocchi di capacità pari a 64 istanze non sono supportate per tutti i tipi di istanze in tutte le Regioni AWS.
Blocchi di capacità delle istanze
| Tipo di istanza | Stati Uniti orientali (Virginia settentrionale) us-east-1 | Stati Uniti orientali (Ohio) us-east-2 | Stati Uniti occidentali (California settentrionale) us-west-1 | Stati Uniti occidentali (Oregon) us-west-2 | Europa (Stoccolma) eu-north-1 | Europa (Londra) eu-west-2 | Europa (Spagna) eu-south-2 | Asia Pacifico (Tokyo) ap-northeast-1 | Asia Pacifico (Seoul) ap-northeast-2 | Asia Pacifico (Mumbai) ap-south-1 | Asia Pacifico (Sydney) ap-southeast-2 | Asia Pacific (Giacarta) ap-southeast-3 | Asia Pacifico (Melbourne) ap-southeast-4 | America del Sud (San Paolo) sa-east-1 | AWS GovCloud (US-East) us-gov-east-1 | AWS GovCloud (US-West) usa-gov-west-1 | Stati Uniti orientali (Atlanta) us-east-1-atl-2a | Stati Uniti occidentali (Phoenix) us-west-2-phx-2a |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
p6-b300.48xlarge |
✓ | ✓ | ✓ | ✓ | ||||||||||||||
p6-b200.48xlarge |
✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ||||||||||||
p5.4xlarge |
✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ||||||||||
p5.48xlarge |
✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ||||||
p5e.48xlarge |
✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ||||||
p5en.48xlarge |
✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ||||||
p4d.24xlarge |
✓ | ✓ | ✓ | |||||||||||||||
p4de.24xlarge |
✓ | ✓ | ||||||||||||||||
trn1.32xlarge |
✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |||||||||||
trn2.3xlarge |
✓ | ✓ | ||||||||||||||||
trn2.48xlarge |
✓ |
UltraServer Blocchi di capacità
| Tipo di istanza | Stati Uniti orientali (Ohio) us-east-2 | Stati Uniti orientali (Dallas) us-east-1-dfw-2a |
|---|---|---|
Trn2 |
✓ | |
P6e-GB200 |
✓ |
Piattaforme supportate
I Capacity Blocks for ML attualmente supportano solo le istanze e hanno una tenancy predefinita. UltraServers Quando si utilizza Console di gestione AWS per acquistare un Capacity Block, l'opzione predefinita della piattaforma è. Linux/UNIX Quando si utilizza AWS Command Line Interface (AWS CLI) o AWS SDK per acquistare un Capacity Block, sono disponibili le seguenti opzioni di piattaforma:
-
Linux/Unix
-
Red Hat Enterprise Linux
-
RHEL con HA
-
SUSE Linux
-
Ubuntu Pro
Considerazioni
Prima di utilizzare i blocchi di capacità, considera i seguenti dettagli e limitazioni.
-
Se rileviamo una riduzione di valore che influisce su un UltraServer Capacity Block, ti informeremo ma generalmente non intraprenderemo alcuna azione per chiudere le tue istanze sul Capacity Block. Questo serve a ridurre al minimo eventuali interruzioni involontarie dei tuoi carichi di lavoro. Puoi continuare a utilizzare il UltraServer Capacity Block così com'è dopo aver ricevuto questa notifica o richiedere una soluzione chiudendo tutte le istanze del blocco di capacità e inviando una richiesta di supporto. AWS Dopo aver ricevuto la richiesta di assistenza, ti informeremo quando avremo completato la correzione e potrai riavviare le istanze nel tuo Capacity Block. UltraServer
-
Per i
P6e-GB200UltraServer Capacity Block, devi chiudere le tue istanze almeno 60 minuti prima dell'orario di fine del Capacity Block. -
Per acquistare e utilizzare i Capacity Block nelle zone locali, devi aver aderito alle zone locali.
-
Ogni blocco di capacità può avere fino a 64 istanze e puoi avere fino a 256 istanze tra i blocchi di capacità.
-
Puoi descrivere le offerte dei blocchi di capacità che possono iniziare entro 30 minuti.
-
I blocchi di capacità terminano alle 11:30 UTC (tempo coordinato universale).
-
Il processo di terminazione per le istanze in esecuzione in un blocco di capacità inizia alle 11:00 UTC (tempo coordinato universale) dell'ultimo giorno della prenotazione.
-
I blocchi di capacità possono essere prenotati con un orario di inizio fino a 8 settimane nel futuro.
-
Non sono ammesse cancellazioni dei blocchi di capacità.
-
UltraServer I blocchi di capacità non possono essere condivisi tra AWS gli account o all'interno AWS dell'organizzazione.
-
Solo i blocchi UltraServer di capacità possono essere utilizzati con i gruppi di risorse. I blocchi di capacità delle istanze non possono essere utilizzati con i gruppi di risorse. Per ulteriori informazioni, consulta Crea un gruppo di risorse per UltraServer Capacity Blocks.
-
Il numero totale di istanze che possono essere riservate in Blocchi di capacità in tutti gli account AWS dell'organizzazione non può superare le 256 istanze in una determinata data.
-
Per utilizzare un blocco di capacità, le istanze devono avere come destinazione specifica l'ID di prenotazione.
-
Le istanze in un Capacity Block non vengono conteggiate ai fini dei limiti delle istanze. On-Demand
-
Per le istanze P5 che utilizzano un'AMI personalizzata, assicurati di disporre del software e della configurazione necessari per EFA.
-
Per i gruppi di nodi gestiti di Amazon EKS, consulta Creare un gruppo di nodi gestiti con Blocchi di capacità Amazon EC2 per ML. Per i gruppi di nodi autogestiti di Amazon EKS, consulta Usa blocchi di capacità per ML con nodi autogestiti.
Risorse correlate
Dopo aver creato un blocco di capacità, puoi compiere le operazioni seguenti con il blocco di capacità:
-
Avvio di istanze nel blocco di capacità. Per ulteriori informazioni, consulta Avvio di istanze utilizzando blocchi di capacità.
-
Gruppo con Amazon EC2 Auto Scaling. Per ulteriori informazioni, consulta Usa i blocchi di capacità per carichi di lavoro di machine learning nella Guida per l'utente di Amazon EC2 Auto Scaling.
Nota
Se utilizzi Amazon EC2 Auto Scaling o Amazon EKS, puoi pianificare la scalabilità in modo tale che venga eseguita all'inizio della prenotazione del blocco di capacità. Grazie alla scalabilità pianificata, gestisce AWS automaticamente i tentativi al posto tuo, quindi non devi preoccuparti di implementare la logica dei tentativi per gestire gli errori transitori.
-
Migliora i flussi di lavoro ML con Parallel Computing Service. AWS Per ulteriori informazioni, consulta Supporto di Capacity Blocks per AWS Parallel Computing Service
. -
Migliora i flussi di lavoro ML con AWS ParallelCluster. Per ulteriori informazioni, consulta Miglioramento dei flussi di lavoro ML con AWS ParallelCluster e Amazon EC2 Capacity Blocks for ML.
Per ulteriori informazioni su AWS Parallel Computing Service, consulta What is AWS Parallel Computing Service.
Per ulteriori informazioni su AWS ParallelCluster, vedi Cos'è AWS ParallelCluster.