Aidez à améliorer cette page

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Pour contribuer à ce guide de l'utilisateur, cliquez sur le GitHub lien Modifier cette page qui se trouve dans le volet droit de chaque page.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utiliser des AMI EKS-optimized accélérées pour les instances GPU

Amazon EKS prend en charge les AMI EKS-optimized Amazon Linux et Bottlerocket pour les instances GPU. Les AMI EKS-optimized accélérées simplifient l'exécution des charges de travail d'IA et de machine learning dans les clusters EKS en fournissant des images de système d'exploitation prédéfinies et validées pour la pile Kubernetes accélérée. Outre les principaux composants Kubernetes inclus dans les EKS-optimized AMI standard, les AMI EKS-optimized accélérées incluent les modules du noyau et les pilotes nécessaires pour exécuter les instances NVIDIA GPU et EC2, G ainsi que les instances AWS GPU Inferentia et Trainium P EC2 dans les clusters EKS.

Le tableau ci-dessous indique les types d'instances GPU pris en charge pour chaque variante d'AMI EKS-optimized accélérée. Consultez les versions EKS-optimized AL2023 et Bottlerocket GitHub pour les dernières mises à jour des variantes AMI.

EKS-optimized AMI NVIDIA

En utilisant les AMI EKS-optimized NVIDIA, vous acceptez le contrat de licence utilisateur final (CLUF) Cloud de NVIDIA.

Pour trouver les dernières AMI EKS-optimized NVIDIA, reportez-vous aux sections Récupérez l'AMI Amazon Linux recommandée IDs etRécupérer les ID d’AMI Bottlerocket recommandés.

Lorsque vous utilisez Amazon Elastic Fabric Adapter (EFA) avec les AMI NVIDIA EKS-optimized AL2023 ou Bottlerocket, vous devez installer le plug-in du périphérique EFA séparément. Pour de plus amples informations, veuillez consulter Exécuter un entraînement de machine learning sur Amazon EKS avec Elastic Fabric Adapter.

AMI NVIDIA EKS AL2023

Lorsque vous utilisez l'opérateur GPU NVIDIA avec les AMI NVIDIA EKS-optimized AL2023, vous devez désactiver l'installation du pilote et de la boîte à outils par l'opérateur, car ceux-ci sont déjà inclus dans les AMI EKS. Les AMI NVIDIA EKS-optimized AL2023 n'incluent pas le plug-in de périphérique NVIDIA Kubernetes ni le pilote NVIDIA DRA, et ceux-ci doivent être installés séparément. Pour de plus amples informations, veuillez consulter Gérer les GPU NVIDIA sur Amazon EKS.

Outre les composants EKS AMI standard, les AMI NVIDIA EKS-optimized AL2023 incluent les composants suivants.

Pour plus de détails sur le pilote en mode utilisateur NVIDIA CUDA et le CUDA runtime/libraries utilisé dans les conteneurs d'applications, consultez la documentation NVIDIA. La version CUDA illustrée nvidia-smi est la version du pilote en mode utilisateur NVIDIA CUDA installé sur l'hôte, qui doit être compatible avec le CUDA runtime/libraries utilisé dans les conteneurs d'applications.

Les AMI NVIDIA EKS-optimized AL2023 prennent en charge le noyau 6.12 pour les versions 1.33 et supérieures de Kubernetes, et la version 580 du pilote NVIDIA pour toutes les versions de Kubernetes. Le pilote NVIDIA 580 est requis pour utiliser CUDA 13+.

Consultez les versions EKS-optimized d'AL2023 GitHub pour plus de détails sur les versions des composants incluses dans les AMI. Consultez le script d'installation de l'AMI NVIDIA EKS AL2023 et le script de chargement du noyau pour plus de détails sur la façon dont les AMI EKS configurent les dépendances NVIDIA. Vous pouvez trouver la liste des packages installés et leurs versions sur une instance EC2 en cours d'exécution à l'aide de la dnf list installed commande.

Lorsque vous créez des AMI personnalisées avec les EKS-optimized AMI comme base, il n'est pas recommandé ni pris en charge d'exécuter une mise à niveau du système d'exploitation (c'est-à-dirednf upgrade) ou de mettre à niveau l'un des packages Kubernetes ou GPU inclus dans les EKS-optimized AMI, car cela risquerait de compromettre la compatibilité des composants. Si vous mettez à niveau le système d'exploitation ou les packages inclus dans les EKS-optimized AMI, il est recommandé de procéder à des tests approfondis dans un environnement de développement ou de test avant de les déployer en production.

Lorsque vous créez des AMI personnalisées pour les instances GPU, il est recommandé de créer des AMI personnalisées distinctes pour chaque génération de type d'instance et chaque famille que vous allez exécuter. Les AMI EKS-optimized accélérées installent de manière sélective les pilotes et les packages lors de l'exécution en fonction de la génération et de la famille de types d'instances sous-jacentes. Pour plus d'informations, consultez les scripts EKS AMI pour l'installation et l'exécution.

AMI NVIDIA EKS Bottlerocket

Lorsque vous utilisez l'opérateur GPU NVIDIA avec les AMI NVIDIA EKS-optimized Bottlerocket, vous devez désactiver l'installation par l'opérateur du pilote, du kit d'outils et du plug-in de périphérique car ceux-ci sont déjà inclus dans les AMI EKS.

Outre les composants EKS AMI standard, les AMI NVIDIA EKS-optimized Bottlerocket incluent les composants suivants. Les dépendances minimales pour EFA (module de noyau et rdma-core) sont installées dans toutes les variantes de Bottlerocket.

Pour plus de détails sur le pilote en mode utilisateur NVIDIA CUDA et le CUDA runtime/libraries utilisé dans les conteneurs d'applications, consultez la documentation NVIDIA. La version CUDA illustrée nvidia-smi est la version du pilote en mode utilisateur NVIDIA CUDA installé sur l'hôte, qui doit être compatible avec le CUDA runtime/libraries utilisé dans les conteneurs d'applications.

Consultez les informations de version de Bottlerocket dans la documentation de Bottlerocket pour plus de détails sur les packages installés et leurs versions. Les AMI NVIDIA EKS-optimized Bottlerocket prennent en charge le noyau 6.12 pour les versions 1.33 et supérieures de Kubernetes, et la version 580 du pilote NVIDIA pour les versions 1.34 et supérieures de Kubernetes. Le pilote NVIDIA 580 est requis pour utiliser CUDA 13+.

EKS-optimized AMI neuronales

Pour plus d'informations sur la façon d'exécuter des charges de travail de formation et d'inférence à l'aide de Neuron avec Amazon EKS, consultez les références suivantes :

Pour trouver les dernières AMI EKS-optimized Neuron, reportez-vous aux sections Récupérez l'AMI Amazon Linux recommandée IDs etRécupérer les ID d’AMI Bottlerocket recommandés.

Lorsque vous utilisez Amazon Elastic Fabric Adapter (EFA) avec les AMI EKS-optimized AL2023 ou Bottlerocket Neuron, vous devez installer le plug-in de l'appareil EFA séparément. Pour de plus amples informations, veuillez consulter Exécuter un entraînement de machine learning sur Amazon EKS avec Elastic Fabric Adapter.

AMI neuronales EKS AL2023

Les AMI Neuron EKS-optimized AL2023 n'incluent pas le pilote Neuron DRA, le plug-in de périphérique Neuron Kubernetes ou l'extension du planificateur Neuron Kubernetes, et ils doivent être installés séparément. Pour de plus amples informations, veuillez consulter Gérer les appareils Neuron sur Amazon EKS.

Outre les composants EKS AMI standard, les AMI Neuron EKS-optimized AL2023 comprennent les composants suivants.

Consultez le script d'installation de l'AMI Neuron EKS AL2023 pour plus de détails sur la façon dont les AMI EKS configurent les dépendances des neurones. Consultez les versions EKS-optimized AL2023 ci-dessous GitHub pour voir les versions des composants incluses dans les AMI. Vous pouvez trouver la liste des packages installés et leurs versions sur une instance EC2 en cours d'exécution à l'aide de la dnf list installed commande.

AMI EKS Bottlerocket Neuron

Les variantes standard de Bottlerocket (aws-k8s) incluent les dépendances neuronales qui sont automatiquement détectées et chargées lors de l'exécution sur des instances Inferentia ou Trainium EC2. AWS

Les AMI EKS-optimized Bottlerocket n'incluent pas le pilote Neuron DRA, le plug-in de périphérique Neuron Kubernetes ou l'extension du planificateur Neuron Kubernetes, et ils doivent être installés séparément. Pour de plus amples informations, veuillez consulter Gérer les appareils Neuron sur Amazon EKS.

Outre les composants EKS AMI standard, les AMI EKS-optimized Bottlerocket Neuron comprennent les composants suivants.

Lorsque vous utilisez les AMI EKS-optimized Bottlerocket avec des instances Neuron, les éléments suivants doivent être configurés dans les données utilisateur de Bottlerocket. Ce paramètre permet au conteneur de s'approprier le périphérique Neuron monté en fonction des runAsGroup valeurs runAsUser et fournies dans la spécification de charge de travail. Pour plus d'informations sur la prise en charge des neurones dans Bottlerocket, consultez le fichier readme Quickstart sur EKS. GitHub

[settings]
[settings.kubernetes]
device-ownership-from-security-context = true

Consultez le journal des modifications du kit du noyau Bottlerocket pour plus d'informations sur la version du pilote Neuron incluse dans les AMI de Bottlerocket. EKS-optimized