Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Utilizzo di partizioni GPU in Amazon SageMaker HyperPod
Gli amministratori dei cluster possono scegliere come massimizzare l'utilizzo della GPU in tutta l'organizzazione. È possibile abilitare il partizionamento della GPU con la tecnologia NVIDIA GPU (MIG) per partizionare le risorse Multi-Instance GPU in istanze più piccole e isolate per un migliore utilizzo delle risorse. Questa funzionalità offre la possibilità di eseguire più attività di piccole dimensioni contemporaneamente su una singola GPU invece di dedicare l'intero hardware a un'unica attività, spesso sottoutilizzata. In questo modo si eliminano gli sprechi di potenza di calcolo e memoria.
Il partizionamento GPU con tecnologia MIG supporta le GPU e consente di partizionare una singola GPU supportata in un massimo di sette partizioni GPU separate. Ogni partizione GPU dispone di memoria, cache e risorse di calcolo dedicate, che forniscono un isolamento prevedibile.
Vantaggi
-
Migliore utilizzo della GPU: massimizza l'efficienza di elaborazione partizionando le GPU in base ai requisiti di elaborazione e memoria
-
Isolamento delle attività: ogni partizione GPU funziona in modo indipendente con memoria, cache e risorse di calcolo dedicate
-
Flessibilità delle attività: supporta una combinazione di attività su una singola GPU fisica, tutte eseguite in parallelo
-
Gestione flessibile della configurazione: supporta entrambe le configurazioni Kubernetes Do-it-yourself (fai da te) utilizzando il client
kubectla riga di comando Kubernetes e una soluzione gestita con etichette personalizzate per configurare e applicare facilmente le etichette associate alle partizioni GPU
Importante
Il partizionamento GPU con MIG non è supportato con gruppi di istanze flessibili (gruppi di istanze che utilizzano). InstanceRequirements Per utilizzare MIG, crea un gruppo di istanze con un singolo. InstanceType
Tipi di istanze supportati
Il partizionamento GPU con tecnologia MIG è supportato sui seguenti tipi di istanza: HyperPod
Istanze GPU A100 - https://aws.amazon.com/ec2/instance-types/p4/
-
ml.p4d.24xlarge - 8 GPU NVIDIA A100 (HBM2e da 80 GB per GPU)
-
ml.p4de.24xlarge - 8 GPU NVIDIA A100 (HBM2e da 80 GB per GPU)
Istanze GPU H100 - https://aws.amazon.com/ec2/instance-types/p5/
-
ml.p5.48xlarge - 8 GPU NVIDIA H100 (HBM3 da 80 GB per GPU)
Istanze GPU H200 - https://aws.amazon.com/ec2/instance-types/p5/
-
ml.p5e.48xlarge - 8 GPU NVIDIA H200 (HBM3e da 141 GB per GPU)
-
ml.p5en.48xlarge - 8 GPU NVIDIA H200 (HBM3e da 141 GB per GPU)
Istanze GPU B200 - https://aws.amazon.com/ec2/instance-types/p6/
-
ml.p6b.48xlarge - 8 GPU NVIDIA B200
Partizioni GPU
I profili NVIDIA MIG definiscono il modo in cui le GPU vengono partizionate. Ogni profilo specifica l'allocazione di calcolo e memoria per istanza MIG. Di seguito sono riportati i profili MIG associati a ciascun tipo di GPU:
GPU A100 (ml.p4d.24xlarge)
| Profilo | Memoria (GB) | Istanze per GPU | Totale per ml.p4d.24xlarge |
|---|---|---|---|
|
5 |
7 |
56 |
|
10 |
3 |
24 |
|
20 |
2 |
16 |
|
20 |
1 |
8 |
|
40 |
1 |
8 |
GPU H100 (ml.p 5.48x grande)
| Profilo | Memoria (GB) | Istanze per GPU | Totale per ml.p5,48 x large |
|---|---|---|---|
|
10 |
7 |
56 |
|
20 |
4 |
32 |
|
20 |
3 |
24 |
|
40 |
2 |
16 |
|
40 |
1 |
8 |
|
80 |
1 |
8 |
GPU H200 (ml.p5e.48xlarge e ml.p5en.48xlarge)
| Profilo | Memoria (GB) | Istanze per GPU | Totale per ml.p5en.48xlarge |
|---|---|---|---|
|
18 |
7 |
56 |
|
35 |
4 |
32 |
|
35 |
3 |
24 |
|
71 |
2 |
16 |
|
71 |
1 |
8 |
|
141 |
1 |
8 |
Argomenti
