Unterstützung für die Verbesserung dieser Seite beitragen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Um zu diesem Benutzerhandbuch beizutragen, wählen Sie den GitHub Link Diese Seite bearbeiten unter, der sich im rechten Bereich jeder Seite befindet.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden Sie EKS-optimized beschleunigte AMIs für GPU-Instances

Amazon EKS unterstützt EKS-optimized Amazon Linux- und Bottlerocket-AMIs für GPU-Instances. Die EKS-optimized beschleunigten AMIs vereinfachen die Ausführung von KI- und ML-Workloads in EKS-Clustern, indem sie vorgefertigte, validierte Betriebssystem-Images für den beschleunigten Kubernetes-Stack bereitstellen. Zusätzlich zu den Kubernetes-Kernkomponenten, die in den EKS-optimized Standard-AMIs enthalten sind, enthalten die EKS-optimized beschleunigten AMIs die Kernelmodule und Treiber, die für die Ausführung der NVIDIA-GPU- und EC2-Instances sowie der GPU Inferentia G - und P Trainium EC2-Instances in AWS EKS-Clustern erforderlich sind. https://aws.amazon.com/machine-learning/trainium/

Die folgende Tabelle zeigt die unterstützten GPU-Instance-Typen für jede beschleunigte AMI-Variante. EKS-optimized Die neuesten Updates GitHub für die EKS-optimized AMI-Varianten finden Sie in den AL2023-Versionen und Bottlerocket-Versionen unter.

EKS-optimized NVIDIA-AMIs

Durch die Verwendung der EKS-optimized NVIDIA-AMIs stimmen Sie der Cloud-Endbenutzer-Lizenzvereinbarung (EULA) von NVIDIA zu.

Die neuesten EKS-optimized NVIDIA-AMIs finden Sie unter Rufen Sie das empfohlene Amazon Linux AMI ab IDs undEmpfohlene Bottlerocket-AMI-IDs abrufen.

Wenn Sie Amazon Elastic Fabric Adapter (EFA) mit den EKS-optimized AL2023- oder Bottlerocket NVIDIA-AMIs verwenden, müssen Sie das EFA-Geräte-Plug-In separat installieren. Weitere Informationen finden Sie unter Ausführung von Machine-Learning-Trainings in Amazon EKS mit Elastic Fabric Adapter.

EKS AL2023 NVIDIA AMIS

Wenn Sie den NVIDIA-GPU-Operator mit den EKS-optimized AL2023 NVIDIA-AMIs verwenden, müssen Sie die Operator-Installation des Treibers und des Toolkits deaktivieren, da diese bereits in den EKS-AMIs enthalten sind. Die EKS-optimized AL2023 NVIDIA-AMIs enthalten weder das NVIDIA Kubernetes-Geräte-Plugin noch den NVIDIA DRA-Treiber und diese müssen separat installiert werden. Weitere Informationen finden Sie unter NVIDIA-GPUs auf Amazon EKS verwalten.

Zusätzlich zu den standardmäßigen EKS-AMI-Komponenten enthalten die EKS-optimized AL2023 NVIDIA-AMIs die folgenden Komponenten.

Einzelheiten zum NVIDIA CUDA-Benutzermodus-Treiber und zum CUDA, der in Anwendungscontainern runtime/libraries verwendet wird, finden Sie in der NVIDIA-Dokumentation. https://docs.nvidia.com/deploy/cuda-compatibility/why-cuda-compatibility.html#why-cuda-compatibility Die von angezeigte CUDA-Version nvidia-smi ist die Version des auf dem Host installierten NVIDIA CUDA-Benutzermodus-Treibers, der mit dem in Anwendungscontainern verwendeten CUDA runtime/libraries kompatibel sein muss.

Die EKS-optimized AL2023 NVIDIA-AMIs unterstützen Kernel 6.12 für Kubernetes-Versionen 1.33 und höher und die NVIDIA-Treiberversion 580 für alle Kubernetes-Versionen. Der NVIDIA 580-Treiber ist für die Verwendung von CUDA 13+ erforderlich.

Einzelheiten zu den in den EKS-optimized AMIs enthaltenen Komponentenversionen finden Sie in den AL2023-Versionen unter. GitHub Einzelheiten zur Konfiguration der NVIDIA-Abhängigkeiten durch die EKS-AMIs durch die EKS-AMIs finden Sie im NVIDIA-AMI-Installationsskript und im Kernel-Ladeskript für EKS AL2023. Die Liste der installierten Pakete und ihrer Versionen auf einer laufenden EC2-Instance finden Sie mit dem dnf list installed Befehl.

Beim Erstellen benutzerdefinierter AMIs mit den EKS-optimized AMIs als Basis wird es nicht empfohlen oder unterstützt, ein Betriebssystem-Upgrade (d. h.dnf upgrade) durchzuführen oder eines der Kubernetes- oder GPU-Pakete zu aktualisieren, die in den EKS-optimized AMIs enthalten sind, da dadurch die Komponentenkompatibilität beeinträchtigt werden könnte. Wenn Sie das Betriebssystem oder die Pakete, die in den EKS-optimized AMIs enthalten sind, aktualisieren, wird empfohlen, vor der Bereitstellung in der Produktion gründliche Tests in einer Entwicklungs- oder Staging-Umgebung durchzuführen.

Beim Erstellen benutzerdefinierter AMIs für GPU-Instances wird empfohlen, separate benutzerdefinierte AMIs für jede Instance-Typgeneration und -Familie zu erstellen, die Sie ausführen werden. Die EKS-optimized beschleunigten AMIs installieren zur Laufzeit selektiv Treiber und Pakete auf der Grundlage der zugrunde liegenden Instance-Typgenerierung und -familie. Weitere Informationen finden Sie in den EKS-AMI-Skripten für Installation und Laufzeit.

EKS Bottlerocket NVIDIA AMIs

Wenn Sie den NVIDIA-GPU-Operator mit den EKS-optimized Bottlerocket-NVIDIA-AMIs verwenden, müssen Sie die Operatorinstallation des Treibers, des Toolkits und des Geräte-Plug-ins deaktivieren, da diese bereits in den EKS-AMIs enthalten sind.

Zusätzlich zu den standardmäßigen EKS-AMI-Komponenten enthalten die EKS-optimized Bottlerocket-NVIDIA-AMIs die folgenden Komponenten. Die minimalen Abhängigkeiten für EFA (Kernelmodul und RDMA-Core) sind in allen Bottlerocket-Varianten installiert.

Einzelheiten zum NVIDIA CUDA-Benutzermodus-Treiber und zum CUDA, der in Anwendungscontainern runtime/libraries verwendet wird, finden Sie in der NVIDIA-Dokumentation. Die von angezeigte CUDA-Version nvidia-smi ist die Version des auf dem Host installierten NVIDIA CUDA-Benutzermodus-Treibers, der mit dem in Anwendungscontainern verwendeten CUDA runtime/libraries kompatibel sein muss.

Einzelheiten zu den installierten Paketen und ihren Versionen finden Sie in den Bottlerocket-Versionsinformationen in der Bottlerocket-Dokumentation. Die EKS-optimized Bottlerocket-NVIDIA-AMIs unterstützen Kernel 6.12 für Kubernetes-Versionen 1.33 und höher und die NVIDIA-Treiberversion 580 für Kubernetes-Versionen 1.34 und höher. Der NVIDIA 580-Treiber ist für die Verwendung von CUDA 13+ erforderlich.

EKS-optimized Neuron-AMIs

Einzelheiten zur Ausführung von Trainings- und Inferenz-Workloads mithilfe von Neuron mit Amazon EKS finden Sie in den folgenden Referenzen:

Die neuesten EKS-optimized Neuron-AMIs finden Sie unter und. Rufen Sie das empfohlene Amazon Linux AMI ab IDs Empfohlene Bottlerocket-AMI-IDs abrufen

Wenn Sie Amazon Elastic Fabric Adapter (EFA) mit den EKS-optimized AL2023- oder Bottlerocket Neuron AMIs verwenden, müssen Sie das EFA-Geräte-Plug-In separat installieren. Weitere Informationen finden Sie unter Ausführung von Machine-Learning-Trainings in Amazon EKS mit Elastic Fabric Adapter.

EKS AL2023 Neuron-AMIs

Die EKS-optimized AL2023 Neuron AMIs enthalten nicht den Neuron DRA-Treiber, das Neuron Kubernetes-Geräte-Plugin oder die Neuron Kubernetes Scheduler-Erweiterung, und diese müssen separat installiert werden. Weitere Informationen finden Sie unter Neuron-Geräte auf Amazon EKS verwalten.

Zusätzlich zu den Standard-EKS-AMI-Komponenten enthalten die AL2023 Neuron AMIs die folgenden Komponenten. EKS-optimized

Einzelheiten zur Konfiguration der Neuron-Abhängigkeiten durch die EKS-AMIs finden Sie im EKS AL2023 Neuron AMI-Installationsskript. In den EKS-optimized AL2023-Versionen finden Sie die GitHub in den AMIs enthaltenen Komponentenversionen. Die Liste der installierten Pakete und ihrer Versionen auf einer laufenden EC2-Instance finden Sie mit dem dnf list installed Befehl.

EKS Bottlerocket Neuron AMIs

Die Standard-Bottlerocket-Varianten (aws-k8s) enthalten die Neuron-Abhängigkeiten, die automatisch erkannt und geladen werden, wenn sie auf Inferentia- oder Trainium EC2-Instances ausgeführt werden. AWS

Die EKS-optimized Bottlerocket-AMIs enthalten nicht den Neuron DRA-Treiber, das Neuron Kubernetes-Geräte-Plugin oder die Neuron Kubernetes-Scheduler-Erweiterung. Diese müssen separat installiert werden. https://awsdocs-neuron.readthedocs-hosted.com/en/latest/containers/tutorials/k8s-neuron-scheduler.html Weitere Informationen finden Sie unter Neuron-Geräte auf Amazon EKS verwalten.

Zusätzlich zu den Standard-EKS-AMI-Komponenten enthalten die Bottlerocket Neuron AMIs die folgenden Komponenten. EKS-optimized

Wenn Sie die EKS-optimized Bottlerocket-AMIs mit Neuron-Instances verwenden, muss Folgendes in den Bottlerocket-Benutzerdaten konfiguriert werden. Diese Einstellung ermöglicht es dem Container, die Verantwortung für das gemountete Neuron-Gerät auf der Grundlage der in der Workload-Spezifikation angegebenen Werte und zu übernehmen. runAsUser runAsGroup Weitere Informationen zur Neuron-Unterstützung in Bottlerocket finden Sie in der Quickstart-Readme-Datei auf EKS unter. GitHub

[settings]
[settings.kubernetes]
device-ownership-from-security-context = true

Informationen zur Neuron-Treiberversion, die in den Bottlerocket-AMIs enthalten ist, finden Sie im Changelog des Bottlerocket-Kernel-Kits. EKS-optimized