Aidez à améliorer cette page

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Pour contribuer à ce guide de l'utilisateur, cliquez sur le GitHub lien Modifier cette page qui se trouve dans le volet droit de chaque page.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Exécuter GPU-accelerated des conteneurs (Windows sur EC2) G-Series

Apprenez à exécuter des charges de travail de conteneurs GPU-accelerated Windows sur Amazon EKS (Elastic Kubernetes Service) à l'aide de GPU NVIDIA avec le plug-in Kubernetes Device pour DirectX by. TensorWorks Pour plus d’informations, consultez Kubernetes Device Plugin for DirectX.

Il existe deux approches principales GPU-acceleration pour configurer vos conteneurs Windows :

Les deux approches peuvent être mises à profit en suivant les étapes décrites dans ce guide.

Considérations

Ce guide décrit les étapes à suivre GPU-acceleration pour installer et configurer vos conteneurs Windows à l'aide de GPU NVIDIA, de pilotes NVIDIA GRID et du plug-in Kubernetes Device pour DirectX by. TensorWorks Les étapes ont été testées et vérifiées GPU-acceleration pour prendre en charge vos charges de travail de conteneurs Windows sur Amazon EKS. Consultez Limitations connues pour plus d’informations sur les pilotes et les plug-ins d’appareils compatibles. Avant de démarrer, notez les points suivants :

Conditions préalables

Pour activer l’accélération GPU pour vos conteneurs Windows sur Amazon EKS, vous devez remplir les conditions suivantes avant de continuer :

Installez le pilote GPU sur chaque nœud Windows

Pour installer les pilotes NVIDIA GRID sur vos composants master EKS, suivez les étapes décrites dans Pilotes NVIDIA pour votre instance Amazon EC2. Accédez aux options d’installation – Option 3 : Pilotes GRID et suivez les étapes d’installation.

Installation pour Windows Server Core

Pour Windows Server Core, qui ne dispose pas d’une expérience de bureau, installez les pilotes NVIDIA GRID en mode silencieux à l’aide des commandes suivantes :

$nvidiaInstallerFilePath = nvidia-driver-installer.exe # Replace with path to installer
$installerArguments = "-s -clean -noreboot -noeula"
Start-Process -FilePath $nvidiaInstallerFilePath -ArgumentList $installerArguments -Wait -NoNewWindow -PassThru

Vérifiez votre installation

Exécutez la PowerShell commande suivante pour afficher les informations de diagnostic relatives aux GPU de l'instance :

nvidia-smi

Cette commande affiche la version du pilote NVIDIA, ainsi que des informations sur le matériel GPU. Assurez-vous que le résultat de cette commande correspond à la version du pilote NVIDIA GRID que vous pensiez avoir installée.

Déploiement du plug-in du périphérique GPU sur chaque nœud

Pour permettre la détection et l’exposition des ressources GPU aux conteneurs sur vos nœuds Windows, vous aurez besoin d’un plug-in de périphérique. Déployez le plug-in DirectX Device de Tensorworks sur chaque nœud de travail en l'exécutant en tant que tel DaemonSet dans votre cluster EKS. Suivez le guide d'installation spécifié dans le README.md, qui comportera les étapes suivantes. Il est recommandé de :

Lors de l'exécution de GPU-accelerated conteneurs, le plug-in de l'appareil prend en charge deux modes :

Vérification du déploiement du plug-in de l’appareil

Après avoir déployé le plug-in de périphérique, remplacez <namespace> et exécutez la commande suivante pour vérifier que le plug-in de périphérique DirectX fonctionne correctement sur tous vos nœuds Windows.

kubectl get ds device-plugin-wddm -n <namespace>

Vérifier que les conteneurs sont prêts à être déployés

Une fois que le plug-in de périphérique DaemonSet est en cours d'exécution sur les nœuds de travail GPU-powered Windows, utilisez la commande suivante pour vérifier que chaque nœud possède des GPU allouables. Le nombre correspondant doit correspondre au nombre de périphériques DirectX sur chaque nœud.

kubectl get nodes "-o=custom-columns=NAME:.metadata.name,DirectX:.status.allocatable.directx\.microsoft\.com/display"

Exécution de conteneurs Windows avec GPU-acceleration

Avant de lancer vos pods, spécifiez le nom de la ressource directx.microsoft.com/display dans .spec.containers[].resources. Cela indiquera que vos conteneurs nécessitent des GPU-enabled fonctionnalités et kube-scheduler tenteront de placer vos pods sur votre nœud Windows préconfiguré avec les ressources GPU disponibles.

À titre d’exemple, voir la commande ci-dessous qui lance un Job pour exécuter une simulation Monte Carlo afin d’estimer la valeur de pi. Cet exemple provient du GitHub référentiel Kubernetes Device Plugins pour DirectX, qui propose plusieurs exemples parmi lesquels vous pouvez choisir pour tester les capacités GPU de votre nœud Windows.

cat <<EOF | kubectl apply -f -
apiVersion: batch/v1
kind: Job
metadata:
  name: example-cuda-montecarlo-wddm
spec:
  template:
    spec:
      containers:
      - name: example-cuda-montecarlo-wddm
        image: "index.docker.io/tensorworks/example-cuda-montecarlo:0.0.1"
        resources:
          limits:
            directx.microsoft.com/display: 1
      nodeSelector:
        "kubernetes.io/os": windows
      restartPolicy: Never
  backoffLimit: 0
EOF

Limitations connues

Tous les GPU sont utilisables

Tous les GPU de l’instance seront utilisables par chaque conteneur en cours d’exécution sur l’hôte, même si vous demandez un nombre spécifique de GPU pour un conteneur donné. De plus, par défaut, tous les conteneurs exécutés sur l’hôte utilisent le GPU avec l’index 0, même si plusieurs GPU sont disponibles sur le nœud. Ainsi, pour que les tâches multi-GPU fonctionnent correctement, vous devez désigner explicitement le périphérique GPU spécifique à utiliser dans le code de votre application.

La mise en œuvre exacte pour attribuer un périphérique à utiliser pour l’application dépendra du langage de programmation ou du cadre que vous utilisez. Par exemple, si vous utilisez la programmation CUDA, pour sélectionner un GPU spécifique, vous pouvez spécifier explicitement le périphérique à utiliser dans le code de votre application à l'aide de la fonction cuda SetDevice ().

La nécessité de spécifier explicitement le périphérique est due à un problème connu affectant les conteneurs Windows. Vous pouvez suivre les progrès réalisés dans la résolution de ce problème dans le numéro #333 de microsoft/Windows -Containers. Le tableau suivant représente une représentation visuelle et un exemple pratique de ce comportement d’allocation de GPU.

Considérons un scénario dans lequel il existe un seul nœud Windows de l’instance EC2 type g4dn.12xlarge, équipé de quatre GPU. Imaginons un scénario dans lequel trois pods sont lancés sur cette instance. Le tableau montre que, quel que soit le nombre de GPU demandé par chaque conteneur, les trois pods ont accès aux quatre GPU de l’instance et utilisent par défaut le GPU avec l’index de périphérique 0.

Prise en charge du plug-in Kubernetes

L’implémentation officielle par NVIDIA du plug-in pour appareil Kubernetes n’est pas compatible avec Windows. Vous pouvez suivre la progression de l'ajout du support Windows officiel dans le NVIDIA/k8s-device-plugin numéro #419.

Limitations des instances de calcul GPU

En fonction de la configuration de votre AWS compte, vous pouvez avoir des limites de service quant au nombre et aux types d'instances de calcul GPU Amazon EC2 que vous pouvez lancer. Si vous avez besoin d’une capacité supplémentaire, vous pouvez demander une augmentation de quota.

Doit créer une AMI optimisée pour le GPU pour Windows

Amazon EKS ne fournit aucun composant géré EKS Windows GPU Optimized AMI ou EC2 Image Builder. Vous devrez suivre les étapes décrites dans ce guide pour créer une AMI EKS Windows Optimized personnalisée avec les pilotes GPU requis préinstallés, ou installer les pilotes GPU nécessaires sur vos composants master EKS après avoir lancé vos instances.

Inferentia et Trainium ne sont pas pris en charge

Les charges de travail basées sur AWS Inferentia et AWS Trainium ne sont pas prises en charge sous Windows.