View a markdown version of this page

Modifications importantes apportées au pilote NVIDIA pour DLAMis - AWS Apprentissage profond (deep learning) AMIs

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Modifications importantes apportées au pilote NVIDIA pour DLAMis

Le 15 novembre 2023, des modifications importantes AWS ont été apportées au AWS Apprentissage profond (deep learning) AMIs (DLAMI) concernant le pilote NIVIDA utilisé par les DLAMI. Pour plus d'informations sur ce qui a changé et si cela a une incidence sur votre utilisation de DLamis, consultez. FAQ sur le changement de pilote DLAMI NVIDIA

FAQ sur le changement de pilote DLAMI NVIDIA

Qu'est-ce qui a changé ?

Nous avons divisé les DLAMI en deux groupes distincts :

  • DLAMI utilisant le pilote propriétaire NVIDIA (compatible avec P3, P3dn, G3)

  • DLAMI utilisant le pilote NVIDIA OSS (compatible avec G4dn, G5, P4, P5)

Nous avons donc créé de nouvelles DLAMI pour chacune des deux catégories avec de nouveaux noms et de nouveaux ID d'AMI. Ces DLAMI ne sont pas interchangeables. C'est-à-dire que les DLAMI d'un groupe ne prennent pas en charge les instances prises en charge par l'autre groupe. Par exemple, le DLAMI qui prend en charge le P5 ne prend pas en charge le G3, et le DLAMI qui prend en charge le G3 ne prend pas en charge le P5.

Fourche DLAMI

Pourquoi ce changement a-t-il été nécessaire ?

Auparavant, les DLAMI pour GPU NVIDIA incluaient un pilote de noyau propriétaire de NVIDIA. Cependant, la communauté du noyau Linux en amont a accepté une modification qui empêche les pilotes de noyau propriétaires, tels que le pilote GPU NVIDIA, de communiquer avec d'autres pilotes de noyau. Cette modification désactive GPUDirect RDMA sur les instances des séries P4 et P5, mécanisme qui permet aux GPU d'utiliser efficacement l'EFA pour la formation distribuée. Par conséquent, les DLAMI utilisent désormais le pilote OpenRM (pilote open source NVIDIA), associé aux pilotes open source EFA pour prendre en charge les modèles G4dn, G5, P4 et P5. Cependant, ce pilote OpenRM ne prend pas en charge les anciennes instances (telles que P3 et G3). Par conséquent, pour garantir que nous continuons à fournir des DLAMI à jour, performants et sécurisés qui prennent en charge les deux types d'instances, nous avons divisé les DLAMI en deux groupes : un avec le pilote OpenRM (qui prend en charge G4dn, G5, P4 et P5), et un avec l'ancien pilote propriétaire (qui prend en charge P3, P3dn et G3).

Quels DLamis ont été affectés par ce changement ?

Ce changement a affecté tous les DLAMI.

Qu'est-ce que cela signifie pour toi ?

Tous les DLAMI continueront à fournir des fonctionnalités, des performances et une sécurité tant que vous les exécuterez sur un type d'instance Amazon Elastic Compute Cloud (Amazon EC2) compatible. Pour déterminer les types d'instances EC2 pris en charge par un DLAMI, consultez les notes de version de ce DLAMI, puis recherchez les instances EC2 prises en charge. Pour obtenir une liste des options DLAMI actuellement prises en charge et des liens vers leurs notes de version, voir. Notes de mise à jour des AMI Deep Learning

En outre, vous devez utiliser les commandes correctes AWS Command Line Interface (AWS CLI) pour appeler les DLAMI actuels.

Pour les DLAM de base qui prennent en charge les protocoles P3, P3dn et G3, utilisez cette commande :

aws ec2 describe-images --region us-east-1 --owners amazon \ --filters 'Name=name,Values=Deep Learning Base Proprietary Nvidia Driver AMI (Amazon Linux 2) Version ??.?' 'Name=state,Values=available' \ --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' --output text

Pour les DLAM de base compatibles avec G4dn, G5, P4 et P5, utilisez cette commande :

aws ec2 describe-images --region us-east-1 --owners amazon \ --filters 'Name=name,Values=Deep Learning Base OSS Nvidia Driver AMI (Amazon Linux 2) Version ??.?' 'Name=state,Values=available' \ --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' --output text

Y a-t-il une perte de fonctionnalité avec les nouveaux DLAMI ?

Non, il n'y a aucune perte de fonctionnalité. Les DLAMI actuels fournissent toutes les fonctionnalités, les performances et la sécurité des DLAMI précédents, à condition que vous les exécutiez sur un type d'instance EC2 pris en charge.

Ce changement a-t-il affecté les Deep Learning Containers ?

Non, cette modification n'a pas affecté les AWS Deep Learning Containers, car ils n'incluent pas le pilote NVIDIA. Veillez toutefois à exécuter les Deep Learning Containers sur des AMI compatibles avec les instances sous-jacentes.