View a markdown version of this page

Installation des pilotes publics NVIDIA - Amazon Elastic Compute Cloud
Option 1 : Driver-only installerOption 2 : installation du kit d’outils CUDA

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Installation des pilotes publics NVIDIA

Si les AWS Marketplace AMI décrites dans la section Utilisation d’AMI qui incluent des pilotes NVIDIA ne correspondent pas à votre cas d'utilisation, vous pouvez installer les pilotes publics et apporter votre propre licence. Les options d’installation sont les suivantes :

 

P6-B200 et considérations relatives au type d' P6-B300 instance

Les P6-B300 plateformes P6-B200 et sont uniques en ce sens qu'elles exposent les cartes d'interface réseau (NIC) Mellanox ConnectX à l'instance en tant que périphériques PCIe. Ces cartes d'interface réseau n'agissent pas comme des interfaces réseau classiques mais fonctionnent plutôt comme des ponts NVSwitch fournissant un chemin de contrôle pour initialiser et configurer le NVFabric, qui est la topologie NVLink de l'interconnexion GPU.

Pour initialiser complètement le système, le NVIDIA Fabric Manager doit configurer NVFabric et établir la topologie NVSwitch. Cela permet aux modules InfiniBand du noyau de communiquer avec les cartes d'interface réseau Mellanox ConnectX.

NVIDIA Fabric Manager est inclus dans le kit d’outils CUDA. Nous recommandons Option 2 : installation avec le kit d’outils CUDA pour ce type d’instance.

Option 1 : Driver-only installer

Pour installer un pilote spécifique, connectez-vous à votre instance et téléchargez le pilote public NVIDIA 64 bits correspondant au type d'instance depuis http://www.nvidia.com/Download/Find.aspx. Pour Type de produit, Série de produits et Produit, utilisez les options indiquées dans tableau suivant.

Suivez ensuite les instructions d'installation du référentiel local du guide d'installation du pilote NVIDIA.

Note

P6-B200 et les types d' P6-B300 instances nécessitent l'installation et la configuration de packages supplémentaires fournis avec le kit d'outils NVIDIA CUDA. Pour plus d’informations, consultez les instructions relatives à votre distribution Linux dans la section Option 2 : installation avec le kit d’outils CUDA.

Instance Type de produit Série de produit Produit Version minimale du pilote
G3 Tesla M-Class M60 --
G4dn Tesla T-Series T4 --
G5 Tesla A-Series A10 470.00 ou version ultérieure
G5g1 Tesla T-Series T4G 470.82.01 ou version ultérieure
G6 Tesla L-Series L4 525.0 ou version ultérieure
G6e Tesla L-Series L40S 535.0 ou version ultérieure
Gr6 Tesla L-Series L4 525.0 ou version ultérieure
G7 Tesla Série RTX RTX PRO 6000 Blackwell 575.0 ou version ultérieure
P3 Tesla V-Series V100 --
P4d Tesla A-Series A100 --
P4de Tesla A-Series A100 --
P5 Tesla H-Series H100 530 ou version ultérieure
P5e Tesla H-Series H200 550 ou version ultérieure
P5en Tesla H-Series H200 550 ou version ultérieure
P6-B2002 Tesla HGX-Series B200 570 ou version ultérieure
P6e-GB200 Tesla HGX-Series B200 570 ou version ultérieure
P6-B3002 Tesla HGX-Series B300 580 ou version ultérieure

1 Le système d’exploitation des instances G5g est Linux aarch64.

2 Pour chaque type P6-B200 d' P6-B300 instance, des exigences d'installation supplémentaires sont requises pour configurer NVIDIA Fabric Manager.

Option 2 : installation avec le kit d’outils CUDA

Les instructions d’installation varient légèrement selon le système d’exploitation. Pour installer des pilotes publics sur votre instance à l’aide du kit d’outils NVIDIA CUDA, suivez les instructions du système d’exploitation de votre instance. Pour les systèmes d’exploitation qui ne sont pas présentés ici, suivez les instructions relatives à votre système d’exploitation et à l’architecture du type d’instance sur le site Web des développeurs NVIDIA. Pour plus d’informations, consultez la section Téléchargements du kit d’outils CUDA.

Pour connaître l’architecture du type d’instance ou d’autres spécifications, consultez les spécifications relatives au calcul accéléré dans la référence des types d’instances Amazon EC2.

Cette section couvre l’installation du kit d’outils NVIDIA CUDA sur une instance Amazon Linux 2023. Les exemples de commandes présentés dans cette section sont basés sur une architecture x86_64.

Pour les commandes arm64-sbsa, consultez la section Téléchargements du kit d’outils CUDA et sélectionnez les options qui s’appliquent à votre distribution. Les instructions apparaissent lorsque vous avez effectué votre sélection finale.

Prérequis

Avant d’installer le kit d’outils et les pilotes, exécutez la commande suivante pour vous assurer que vous disposez de la bonne version des en-têtes du noyau et des packages de développement.

[ec2-user ~]$ sudo dnf install kernel-devel-$(uname -r) kernel-headers-$(uname -r) -y
Téléchargement du kit d’outils et des pilotes

Choisissez le type d’installation à utiliser pour votre instance et suivez les étapes associées.

AL2023 NVIDIA repository

Amazon Linux 2023 fournit des pilotes GPU NVIDIA et des packages de boîtes à outils CUDA via un référentiel dédié qui les AWS gère. AWS qualifie ce référentiel avec les versions candidates de l'AL2023 et fournit des conseils de sécurité via le Amazon Linux Security Center. Nous recommandons cette option pour les instances AL2023 car elle simplifie l'installation et permet de maintenir les pilotes à jour dans le cadre du flux de travail standarddnf update.

Pour obtenir des instructions, consultez les pilotes NVIDIA dans le guide de l'utilisateur Amazon Linux 2023.

RPM local installation

Vous pouvez suivre ces instructions pour télécharger le bundle du référentiel d’installation du kit d’installation CUDA sur votre instance, puis extraire et enregistrer le bundle spécifié.

Pour consulter les instructions sur le site Web des développeurs NVIDIA, rendez-vous sur la page Téléchargements du kit d’outils CUDA.

[ec2-user ~]$ wget https://developer.download.nvidia.com/compute/cuda/13.0.0/local_installers/cuda-repo-amzn2023-13-0-local-13.0.0_580.65.06-1.x86_64.rpm
[ec2-user ~]$ sudo rpm -i cuda-repo-amzn2023-13-0-local-13.0.0_580.65.06-1.x86_64.rpm
RPM network installation

Vous pouvez suivre ces instructions pour enregistrer le référentiel CUDA auprès du gestionnaire de packages de votre instance. Lorsque vous exécutez les étapes d’installation, le gestionnaire de packages ne télécharge que les packages requis.

Pour consulter les instructions sur le site Web des développeurs NVIDIA, rendez-vous sur la page Téléchargements du kit d’outils CUDA.

[ec2-user ~]$ sudo dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/amzn2023/x86_64/cuda-amzn2023.repo

Les étapes restantes sont les mêmes pour l'installation RPM en local et en réseau RPM.

  1. Terminez l’installation du kit d’outils CUDA

    [ec2-user ~]$ sudo dnf clean all
[ec2-user ~]$ sudo dnf install cuda-toolkit -y

  2. Installez la variante du module à noyau ouvert du pilote

    [ec2-user ~]$ sudo dnf module install nvidia-driver:open-dkms -y

  3. Installez le GPUDirect Storage et Fabric Manager

    [ec2-user ~]$ sudo dnf install nvidia-gds -y
[ec2-user ~]$ sudo dnf install nvidia-fabric-manager -y

  4. Activez Fabric Manager et la persistance des pilotes

    [ec2-user ~]$ sudo systemctl enable nvidia-fabricmanager
[ec2-user ~]$ sudo systemctl enable nvidia-persistenced

  5. (P6-B200 et P6-B300 uniquement) Ces types d'instances nécessitent l'installation et la configuration de packages supplémentaires fournis avec le kit d'outils NVIDIA CUDA.

    1. Installez le gestionnaire de sous-réseaux NVIDIA Link et ibstat.

      [ec2-user ~]$ sudo dnf install nvlink5

    2. Activez le chargement automatique du module Infiniband au démarrage.

      [ec2-user ~]$ echo "ib_umad" | sudo tee -a /etc/modules-load.d/modules.conf

  6. Redémarrez l’instance

    [ec2-user ~]$ sudo reboot

Cette section couvre l’installation du kit d’outils NVIDIA CUDA sur une instance Ubuntu 24.04. Les exemples de commandes présentés dans cette section sont basés sur une architecture x86_64.

Pour les commandes arm64-sbsa, consultez la section Téléchargements du kit d’outils CUDA et sélectionnez les options qui s’appliquent à votre distribution. Les instructions apparaissent lorsque vous avez effectué votre sélection finale.

Prérequis

Avant d’installer le kit d’outils et les pilotes, exécutez la commande suivante pour vous assurer que vous disposez de la bonne version des en-têtes du noyau et des packages de développement.

$ apt install linux-headers-$(uname -r)
Téléchargement du kit d’outils et des pilotes

Choisissez le type d’installation à utiliser pour votre instance et suivez les étapes associées.

Deb local installation

Vous pouvez suivre ces instructions pour télécharger le bundle du référentiel d’installation du kit d’installation CUDA sur votre instance, puis extraire et enregistrer le bundle spécifié.

Pour consulter les instructions sur le site Web des développeurs NVIDIA, rendez-vous sur la page Téléchargements du kit d’outils CUDA.

$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pin
$ sudo mv cuda-ubuntu2404.pin /etc/apt/preferences.d/cuda-repository-pin-600
$ wget https://developer.download.nvidia.com/compute/cuda/13.0.0/local_installers/cuda-repo-ubuntu2404-13-0-local_13.0.0-580.65.06-1_amd64.deb
$ sudo dpkg -i cuda-repo-ubuntu2404-13-0-local_13.0.0-580.65.06-1_amd64.deb
$ sudo cp /var/cuda-repo-ubuntu2404-13-0-local/cuda-*-keyring.gpg /usr/share/keyrings/
Deb network installation

Vous pouvez suivre ces instructions pour enregistrer le référentiel CUDA auprès du gestionnaire de packages de votre instance. Lorsque vous exécutez les étapes d’installation, le gestionnaire de packages ne télécharge que les packages requis.

Pour consulter les instructions sur le site Web des développeurs NVIDIA, rendez-vous sur la page Téléchargements du kit d’outils CUDA.

$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
$ sudo dpkg -i cuda-keyring_1.1-1_all.deb

Les étapes restantes sont les mêmes pour l’installation locale et en réseau.

  1. Terminez l’installation du kit d’outils CUDA

    $ sudo apt update
$ sudo apt install cuda-toolkit -y

  2. Installez la variante du module à noyau ouvert du pilote

    $ sudo apt install nvidia-open -y

  3. Installez le GPUDirect Storage et Fabric Manager

    $ sudo apt install nvidia-gds -y
$ sudo apt install nvidia-fabricmanager -y

  4. Activez Fabric Manager et la persistance des pilotes

    $ sudo systemctl enable nvidia-fabricmanager
$ sudo systemctl enable nvidia-persistenced

  5. (P6-B200 et P6-B300 uniquement) Ces types d'instances nécessitent l'installation et la configuration de packages supplémentaires fournis avec le kit d'outils NVIDIA CUDA.

    1. Installez le pilote de InfiniBand-specific périphérique et les utilitaires de diagnostic les plus récents.

      $ sudo apt install linux-modules-extra-$(uname -r) -y
$ sudo apt install infiniband-diags -y

    2. Installez le gestionnaire de sous-réseaux NVIDIA Link.

      $ sudo apt install nvlsm -y

  6. Redémarrez l’instance

    sudo reboot

  7. Mettez à jour votre chemin et ajoutez la variable d’environnement suivante.

    $ export PATH=${PATH}:/usr/local/cuda-13.0/bin
$ export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/usr/local/cuda-13.0/lib64

Pour installer le pilote NVIDIA sous Windows, procédez comme suit :

  1. Ouvrez le dossier dans lequel vous avez téléchargé le pilote et lancez le fichier d’installation. Suivez les instructions pour installer le pilote et redémarrez votre instance le cas échéant.

  2. Désactivez la carte vidéo nommée Microsoft Basic Display Adapter qui est marquée d’une icône d’avertissement à l’aide du Gestionnaire de périphériques. Installez les fonctionnalités Windows : Media Foundation et Quality Windows Audio Video Experience.

    Important

    Ne désactivez pas la carte vidéo nommée Microsoft Remote Display Adapter. Si Microsoft Remote Display Adapter est désactivée, votre connexion peut s’interrompre et les tentatives de connexion à l’instance après son redémarrage peuvent échouer.

  3. Pour vous assurer que le GPU fonctionne correctement, vérifiez le Gestionnaire de périphériques.

  4. Effectuez les étapes d’optimisation de Optimiser les paramètres du GPU sur les instances Amazon EC2 pour bénéficier des meilleures performances de votre GPU.