Pilote NVIDIA DRA et plug-in de périphérique NVIDIA Installez le pilote NVIDIA DRA Installez le plugin pour appareil NVIDIA Kubernetes

Aidez à améliorer cette page

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Pour contribuer à ce guide de l'utilisateur, cliquez sur le GitHub lien Modifier cette page sur qui se trouve dans le volet droit de chaque page.

Gérez les appareils GPU NVIDIA sur Amazon EKS

Les GPU NVIDIA sont largement utilisés pour la formation au machine learning, l'inférence et les charges de travail informatiques hautes performances. Amazon EKS prend en charge deux mécanismes pour gérer les périphériques GPU NVIDIA dans vos clusters EKS : le pilote NVIDIA DRA pour les GPU et le plug-in de périphérique NVIDIA Kubernetes.

Il est recommandé d'utiliser le pilote NVIDIA DRA pour les nouveaux déploiements sur des clusters exécutant Kubernetes version 1.34 ou ultérieure avec des groupes de nœuds gérés par EKS ou des groupes de nœuds autogérés. Le pilote NVIDIA DRA permet une allocation et un partage de GPU flexibles entre les conteneurs.

Le pilote NVIDIA DRA n'est pas compatible avec le mode automatique Karpenter ou EKS. Utilisez le plug-in pour appareil NVIDIA avec Karpenter et le mode automatique EKS. Le plug-in de périphérique NVIDIA reste également pris en charge pour les groupes de nœuds gérés par EKS et les nœuds autogérés.

Pilote NVIDIA DRA et plug-in de périphérique NVIDIA

Capacité	pilote NVIDIA DRA	Plug-in pour appareil NVIDIA
Version minimale de Kubernetes	1,34	Toutes les versions de EKS-supported Kubernetes
Calcul EKS	Groupes de nœuds gérés, nœuds autogérés	Mode automatique EKS, Karpenter, groupes de nœuds gérés, nœuds autogérés
EKS-optimized AMI	AL2023 (NVIDIA)	AL2023 (NVIDIA), Bottlerocket
Publicité sur les appareils	Des attributs riches via `ResourceSlice` des objets tels que le modèle de GPU, la mémoire, la version du pilote et la topologie	Nombre entier de ressources `nvidia.com/gpu` étendues
Partage GPU	Plusieurs conteneurs dans le même Pod peuvent partager un GPU via des `ResourceClaim` références partagées	Non pris en charge. Chaque GPU est exclusivement alloué à un conteneur.
ComputeDomains	Gère Multi-Node le NVLink (MNNVL) via `ComputeDomain` des ressources pour une communication GPU sécurisée à nœuds multiples	Non pris en charge
Attribute-based sélection	Filtrez les GPU par modèle, mémoire ou autres attributs à l'aide d'expressions CEL	Non pris en charge
Topology-aware Allocation EFA	DRA-native connaissance de la topologie	Prise en compte automatique de la topologie (AMI AL2023 uniquementEKS-optimized )

Installez le pilote NVIDIA DRA

Le pilote NVIDIA DRA pour GPU gère deux types de ressources : les GPU et. ComputeDomains Il exécute deux plugins DRA kubelet : gpu-kubelet-plugin et. compute-domain-kubelet-plugin Chacun peut être activé ou désactivé séparément lors de l'installation. Ce guide se concentre sur l'allocation du GPU. Pour l'utilisation ComputeDomains, voirUtilisation P6e-GB200 UltraServers avec Amazon EKS.

Conditions préalables

Un cluster Amazon EKS exécutant Kubernetes version 1.34 ou ultérieure avec des groupes de nœuds gérés par EKS ou des groupes de nœuds autogérés.
Nœuds dotés de types d'instances GPU NVIDIA (tels que G des instances P ou).
Nœuds dotés de composants au niveau de l'hôte installés pour les GPU NVIDIA. Lorsque vous utilisez les AMI NVIDIA EKS-optimized AL2023 ou Bottlerocket, le pilote NVIDIA au niveau de l'hôte, le pilote du mode utilisateur CUDA et le kit d'outils de conteneur sont préinstallés.
Helm installé dans votre environnement de ligne de commande, consultez les instructions de configuration de Helm pour plus d’informations.Déployez des applications avec Helm sur Amazon EKS
kubectlconfiguré pour communiquer avec votre cluster, voir Installer ou mettre à jour kubectl pour plus d'informations.

Procédure

Important

Lorsque vous utilisez le pilote NVIDIA DRA pour la gestion des périphériques GPU, il ne peut pas être déployé avec le plug-in de périphérique NVIDIA sur le même nœud. Consultez Kubernetes KEP-5004en amont pour les mises à jour.

Important

L'utilisation du pilote NVIDIA DRA avec Bottlerocket n'est actuellement pas prise en charge.

Ajoutez le référentiel graphique Helm du pilote NVIDIA DRA.
```
helm repo add nvidia https://helm.ngc.nvidia.com/nvidia
```
Mettez à jour votre dépôt Helm local.
```
helm repo update
```
Procurez-vous la dernière version du pilote NVIDIA DRA.
```
helm search repo nvidia/nvidia-dra
```

Installez le pilote NVIDIA DRA.


helm install nvidia-dra-driver-gpu nvidia/nvidia-dra-driver-gpu \
    --create-namespace \
    --namespace nvidia-dra-driver-gpu \
    --set resources.computeDomains.enabled=false \
    --set 'gpuResourcesEnabledOverride=true'

Pour les options de configuration avancées, consultez le tableau Helm du pilote NVIDIA DRA.

Vérifiez que les modules de pilotes DRA sont en cours d'exécution.
```
kubectl get pods -n nvidia-dra-driver-gpu
```

Vérifiez que les DeviceClass objets ont été créés.


kubectl get deviceclass


NAME            AGE
gpu.nvidia.com  60s

Vérifiez que ResourceSlice les objets sont publiés pour vos nœuds GPU.


kubectl get resourceslice

Pour demander des GPU NVIDIA à l'aide du pilote DRA, créez-en un ResourceClaimTemplate qui y fait référence gpu.nvidia.com DeviceClass et le référencez dans les spécifications de votre Pod. L'exemple suivant demande un seul GPU. Consultez Topology-aware EFA et allocation GPU/Neuron d'appareils les étapes à suivre pour allouer des GPU NVIDIA avec des interfaces EFA alignées sur la topologie.


apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: single-gpu
spec:
  spec:
    devices:
      requests:
      - name: gpu
        exactly:
          deviceClassName: gpu.nvidia.com
          count: 1
---
apiVersion: v1
kind: Pod
metadata:
  name: gpu-workload
spec:
  containers:
  - name: app
    ...
    resources:
      claims:
      - name: gpu
  resourceClaims:
  - name: gpu
    resourceClaimTemplateName: single-gpu
  tolerations:
  - key: "nvidia.com/gpu"
    operator: "Exists"
    effect: "NoSchedule"

Installez le plugin pour appareil NVIDIA Kubernetes

Le plugin pour appareil NVIDIA Kubernetes présente les GPU NVIDIA comme des ressources étendues. nvidia.com/gpu Vous demandez des GPU dans les demandes de ressources et les limites des conteneurs.

Conditions préalables

Un cluster Amazon EKS.
Nœuds dotés de types d'instances de GPU NVIDIA utilisant l'AMI NVIDIA EKS-optimized AL2023. Les AMI EKS-optimized Bottlerocket incluent le plug-in de périphérique NVIDIA et aucune installation séparée n'est requise.
Helm installé dans votre environnement de ligne de commande, consultez les instructions de configuration de Helm pour plus d’informations.Déployez des applications avec Helm sur Amazon EKS
kubectlconfiguré pour communiquer avec votre cluster, voir Installer ou mettre à jour kubectl pour plus d'informations.

Procédure

Ajoutez le référentiel de diagrammes Helm du plugin pour appareils NVIDIA.
```
helm repo add nvdp https://nvidia.github.io/k8s-device-plugin
```
Mettez à jour votre dépôt Helm local.
```
helm repo update
```
Installez le plug-in pour appareil NVIDIA Kubernetes.
```
helm install nvdp nvdp/nvidia-device-plugin \
    --namespace nvidia \
    --create-namespace \
    --set gfd.enabled=true
```
Désactiver le MOFED sur les nœuds dotés d'appareils EFA
À partir de la k8s-device-plugin version 0.19.0, le --mofed-enabled drapeau est défini par défaut sur. true Cela oblige le plug-in de périphérique NVIDIA à monter tous les /dev/infiniband/uverbs* appareils dans des conteneurs demandant des GPU (nvidia.com/gpu). Cela entre en conflit avec le plug-in AWS EFA, qui gère le montage des uverbs appareils. Les charges de travail demandant un nombre inférieur à celui de tous les appareils EFA d'un nœud sont affectées, car le plug-in d'appareil NVIDIA revendique tous les uverbs appareils par défaut.
Si vos nœuds sont équipés d'appareils EFA, désactivez explicitement le MOFED lors de l'installation du plug-in pour appareil NVIDIA :
```
helm upgrade --install nvdp nvdp/nvidia-device-plugin \
    --namespace nvidia \
    --create-namespace \
    --set gfd.enabled=true \
    --set mofedEnabled=false
```
Si vous gérez le plug-in de l'appareil NVIDIA via l'opérateur GPU NVIDIA, désactivez MOFED à l'aide du devicePlugin.env champ :
```
helm upgrade --install gpu-operator nvidia/gpu-operator \
    --namespace gpu-operator \
    --set 'devicePlugin.env[0].name=MOFED_ENABLED' \
    --set 'devicePlugin.env[0].value=false'
```
Pour plus d'informations, consultez le numéro #1692 du plugin NVIDIA k8s-device-plugin.
Note
Vous pouvez également installer et gérer le plug-in pour appareil NVIDIA Kubernetes à l'aide de l'opérateur GPU NVIDIA, qui automatise la gestion de tous les composants logiciels NVIDIA nécessaires au provisionnement des GPU.

Vérifiez que le plug-in de l'appareil NVIDIA DaemonSet est en cours d'exécution.


kubectl get ds -n nvidia nvdp-nvidia-device-plugin


NAME                        DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
nvdp-nvidia-device-plugin   2         2         2       2            2           <none>          60s

Vérifiez que vos nœuds disposent de GPU allouables.


kubectl get nodes "-o=custom-columns=NAME:.metadata.name,GPU:.status.allocatable.nvidia\.com/gpu"

L'exemple qui suit illustre un résultat.


NAME                                           GPU
ip-192-168-11-225.us-west-2.compute.internal   1
ip-192-168-24-96.us-west-2.compute.internal    1

Demandez des GPU NVIDIA dans un pod

Pour demander des GPU NVIDIA à l'aide du plug-in de périphérique, spécifiez la nvidia.com/gpu ressource dans les demandes de ressources et les limites de votre conteneur.


apiVersion: v1
kind: Pod
metadata:
  name: nvidia-smi
spec:
  restartPolicy: OnFailure
  containers:
  - name: gpu-demo
    image: public.ecr.aws/amazonlinux/amazonlinux:2023-minimal
    command: ["/bin/sh", "-c"]
    args: ["nvidia-smi && tail -f /dev/null"]
    resources:
      limits:
        nvidia.com/gpu: 1
      requests:
        nvidia.com/gpu: 1
  tolerations:
  - key: "nvidia.com/gpu"
    operator: "Equal"
    value: "true"
    effect: "NoSchedule"

Pour exécuter ce test, appliquez le manifeste et consultez les journaux :


kubectl apply -f nvidia-smi.yaml
kubectl logs nvidia-smi

L'exemple qui suit illustre un résultat.


+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI XXX.XXX.XX            Driver Version: XXX.XXX.XX     CUDA Version: XX.X      |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA L4                      On  |   00000000:31:00.0 Off |                    0 |
| N/A   27C    P8             11W /   72W |       0MiB /  23034MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

Avertissement JavaScript est désactivé ou n'est pas disponible dans votre navigateur.

Pour que vous puissiez utiliser la documentation AWS, Javascript doit être activé. Vous trouverez des instructions sur les pages d'aide de votre navigateur.

Conventions de rédaction

Gérer les accélérateurs Neuron

Recettes

Gérez les appareils GPU NVIDIA sur Amazon EKS

Pilote NVIDIA DRA et plug-in de périphérique NVIDIA

Installez le pilote NVIDIA DRA

Conditions préalables

Procédure

Important

Important

Installez le plugin pour appareil NVIDIA Kubernetes

Conditions préalables

Procédure

Désactiver le MOFED sur les nœuds dotés d'appareils EFA

Note

Demandez des GPU NVIDIA dans un pod