Aidez à améliorer cette page
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Pour contribuer à ce guide de l'utilisateur, cliquez sur le GitHub lien Modifier cette page qui se trouve dans le volet droit de chaque page.
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Gérer les GPU NVIDIA sur Amazon EKS
Les GPU NVIDIA sont largement utilisés pour la formation à l'apprentissage automatique, l'inférence et les charges de travail informatiques hautes performances. Amazon EKS prend en charge deux mécanismes pour gérer les périphériques GPU NVIDIA dans vos clusters EKS : le pilote NVIDIA DRA pour les GPU et le plug-in de périphérique NVIDIA Kubernetes.
Nous vous recommandons d'utiliser des pilotes DRA pour les nouveaux déploiements avec les versions 1.34 et ultérieures de Kubernetes lorsque vous utilisez le provisionnement de capacité statique
Pour en savoir plus sur la disponibilité des fonctionnalités DRA dans EKS, consultez les notes de publication relatives aux versions de Kubernetes pour EKS. Pour plus d'informations sur l'utilisation du pilote NVIDIA DRA et du plug-in de périphérique avec EKS, consultezUtilisez le pilote NVIDIA DRA ou le plug-in de périphérique sur Amazon EKS.
Partage du GPU (découpage en & temps MIG)
Multi-instance PROCESSEUR GRAPHIQUE (MIG)
Multi-Instance Le GPU (MIG) est une fonctionnalité matérielle des GPU NVIDIA qui partitionne un seul GPU physique en plusieurs instances isolées. Le nombre maximum d'instances dépend du GPU. Les GPU de centre de données tels que les A100, H100, H200 et B200 prennent en charge jusqu'à sept instances, tandis que les GPU et en prennent en charge moins. Blackwell-based g7 g7e Chaque instance possède une mémoire dédiée, des unités de calcul et une bande passante mémoire, de sorte qu'une charge de travail exécutée sur une instance ne peut pas affecter la charge de travail d'une autre. Contrairement au découpage temporel, qui partage un GPU par le biais d'un multiplexage temporel logiciel sans isolation, le MIG fournit une mémoire au niveau matériel et une isolation des pannes entre les Pods.
Le MIG est le mieux adapté à l'inférence multilocataire, aux charges de travail nécessitant une qualité de service prévisible et aux environnements soumis à des exigences de conformité pour la location isolée du matériel. Il est disponible sur les GPU NVIDIA Ampere (A100), Hopper (H100 et H200) et Blackwell. AWS Activé, il s'agit des types d' P-family g7einstance Blackwell-based g7 et des types d'instances.
Pour plus d'informations et pour savoir comment utiliser MIG avec les GPU NVIDIA et EKS, consultez. Utiliser des GPU multi-instances (MIG) avec des GPU NVIDIA sur Amazon EKS
Time-slicing
Time-slicing permet à plusieurs Pods de partager un seul GPU NVIDIA physique en configurant le plug-in de périphérique NVIDIA ou le pilote DRA pour annoncer plusieurs emplacements programmables par GPU. Le planificateur Kubernetes place plusieurs Pods sur le même GPU, et le planificateur CUDA du GPU multiplexe les charges de travail dans le temps.
Time-slicing est la GPU-sharing stratégie la plus simple. Il utilise uniquement des logiciels, ne nécessite aucun matériel spécial et fonctionne sur tous les types d'instances de GPU NVIDIA AWS. Time-slicing n'offre pas d'isolation de la mémoire ou du calcul entre les Pods qui partagent un GPU. Il est idéal pour les charges de travail nécessitant une faible utilisation du GPU, comme les services d'inférence qui restent inactifs entre les demandes ou les environnements de développement dans lesquels plusieurs utilisateurs partagent un GPU. Pour les charges de travail qui nécessitent une mémoire au niveau matériel et une isolation informatique, utilisez plutôt MIG.
Pour plus d'informations et pour savoir comment utiliser le découpage temporel avec les GPU NVIDIA et EKS, consultez. Utilisez le découpage temporel avec les GPU NVIDIA sur Amazon EKS
Rubriques
