Unterstützung für die Verbesserung dieser Seite beitragen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Um zu diesem Benutzerhandbuch beizutragen, wählen Sie den GitHub Link Diese Seite bearbeiten auf, der sich im rechten Bereich jeder Seite befindet.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden Sie EKS-optimized beschleunigte AMIs für GPU-Instances

Amazon EKS unterstützt EKS-optimized Amazon Linux- und Bottlerocket-AMIs für GPU-Instances. Die EKS-optimized beschleunigten AMIs vereinfachen die Ausführung von KI- und ML-Workloads in EKS-Clustern, indem sie vorgefertigte, validierte Betriebssystem-Images für den beschleunigten Kubernetes-Stack bereitstellen. Zusätzlich zu den Kernkomponenten von Kubernetes, die in den EKS-optimized Standard-AMIs enthalten sind, enthalten die EKS-optimized beschleunigten AMIs die Kernelmodule und Treiber, die für den Betrieb der NVIDIA-GPU- und EC2-Instances sowie der GPU Inferentia G - und P Trainium EC2-Instances in AWS EKS-Clustern erforderlich sind.

Die folgende Tabelle zeigt die unterstützten GPU-Instance-Typen für jede EKS-optimized beschleunigte AMI-Variante. Die neuesten Updates der AMI-Varianten finden Sie in den Versionen EKS-optimized AL2023 und Bottlerocket unter GitHub .

EKS-optimized NVIDIA-AMIs

Durch die Verwendung der EKS-optimized NVIDIA-AMIs stimmen Sie der Cloud-Endbenutzer-Lizenzvereinbarung (EULA) von NVIDIA zu.

Die neuesten EKS-optimized NVIDIA-AMIs finden Sie unter Rufen Sie das empfohlene Amazon Linux AMI ab IDs undEmpfohlene Bottlerocket-AMI-IDs abrufen.

Wenn Sie Amazon Elastic Fabric Adapter (EFA) mit den NVIDIA-AMIs EKS-optimized AL2023 oder Bottlerocket verwenden, müssen Sie das EFA-Geräte-Plugin separat installieren. Weitere Informationen finden Sie unter Ausführung von Machine-Learning-Trainings in Amazon EKS mit Elastic Fabric Adapter.

EKS AL2023 NVIDIA-AMIs

Wenn Sie den NVIDIA-GPU-Operator mit den EKS-optimized AL2023 NVIDIA-AMIs verwenden, müssen Sie die Operator-Installation des Treibers und des Toolkits deaktivieren, da diese bereits in den EKS-AMIs enthalten sind. Die EKS-optimized AL2023 NVIDIA-AMIs enthalten weder das NVIDIA Kubernetes-Geräte-Plugin noch den NVIDIA DRA-Treiber und müssen separat installiert werden. Weitere Informationen finden Sie unter NVIDIA-GPU-Geräte auf Amazon EKS verwalten.

Zusätzlich zu den standardmäßigen EKS-AMI-Komponenten enthalten die EKS-optimized AL2023 NVIDIA-AMIs die folgenden Komponenten.

Einzelheiten zum NVIDIA CUDA-Benutzermodus-Treiber und zum CUDA, der in Anwendungscontainern runtime/libraries verwendet wird, finden Sie in der NVIDIA-Dokumentation. Bei der von angezeigten CUDA-Version nvidia-smi handelt es sich um die Version des NVIDIA CUDA-Benutzermodus-Treibers, der auf dem Host installiert ist und mit dem in Anwendungscontainern verwendeten CUDA runtime/libraries kompatibel sein muss.

Die EKS-optimized AL2023 NVIDIA-AMIs unterstützen Kernel 6.12 für Kubernetes-Versionen 1.33 und höher und die NVIDIA-Treiberversion 580 für alle Kubernetes-Versionen. Für die Verwendung von CUDA 13+ ist der NVIDIA 580-Treiber erforderlich.

Einzelheiten zu den in den AMIs enthaltenen Komponentenversionen finden Sie in den EKS-optimized AL2023-Versionen unter. GitHub Einzelheiten darüber, wie die EKS-AMIs die NVIDIA-Abhängigkeiten konfigurieren, finden Sie im EKS AL2023 NVIDIA AMI-Installationsskript und im Kernelladeskript. Sie finden die Liste der installierten Pakete und ihrer Versionen auf einer laufenden EC2-Instance mit dem dnf list installed Befehl.

Wenn Sie benutzerdefinierte AMIs mit den EKS-optimized AMIs als Basis erstellen, wird es nicht empfohlen oder unterstützt, ein Betriebssystem-Upgrade (d. h.dnf upgrade) durchzuführen oder eines der Kubernetes- oder GPU-Pakete, die in den EKS-optimized AMIs enthalten sind, zu aktualisieren, da dadurch die Komponentenkompatibilität beeinträchtigt werden kann. Wenn Sie das Betriebssystem oder die Pakete, die in den EKS-optimized AMIs enthalten sind, aktualisieren, wird empfohlen, vor der Bereitstellung in der Produktion gründliche Tests in einer Entwicklungs- oder Staging-Umgebung durchzuführen.

Beim Erstellen benutzerdefinierter AMIs für GPU-Instances wird empfohlen, separate benutzerdefinierte AMIs für jeden Instance-Typ, jede Generation und Familie, die Sie ausführen möchten, zu erstellen. Die EKS-optimized beschleunigten AMIs installieren Treiber und Pakete zur Laufzeit selektiv auf der Grundlage des zugrunde liegenden Instance-Typs, der Generation und der Familie. Weitere Informationen finden Sie in den EKS AMI-Skripts für Installation und Laufzeit.

NVIDIA AMIs von EKS Bottlerocket

Wenn Sie den NVIDIA-GPU-Operator mit den EKS-optimized Bottlerocket-NVIDIA-AMIs verwenden, müssen Sie die Installation des Treibers, des Toolkits und des Geräte-Plug-ins durch den Operator deaktivieren, da diese bereits in den EKS-AMIs enthalten sind.

Zusätzlich zu den standardmäßigen EKS-AMI-Komponenten enthalten die EKS-optimized Bottlerocket-NVIDIA-AMIs die folgenden Komponenten. Die minimalen Abhängigkeiten für EFA (Kernelmodul und RDMA-Core) sind in allen Bottlerocket-Varianten installiert.

Einzelheiten zum NVIDIA CUDA-Benutzermodus-Treiber und zum in Anwendungscontainern runtime/libraries verwendeten CUDA finden Sie in der NVIDIA-Dokumentation. Bei der von angezeigten CUDA-Version nvidia-smi handelt es sich um die Version des NVIDIA CUDA-Benutzermodus-Treibers, der auf dem Host installiert ist und mit dem in Anwendungscontainern verwendeten CUDA runtime/libraries kompatibel sein muss.

Einzelheiten zu den installierten Paketen und ihren Versionen finden Sie in den Bottlerocket-Versionsinformationen in der Bottlerocket-Dokumentation. Die EKS-optimized Bottlerocket-NVIDIA-AMIs unterstützen Kernel 6.12 für Kubernetes-Versionen 1.33 und höher und die NVIDIA-Treiberversion 580 für Kubernetes-Versionen 1.34 und höher. Für die Verwendung von CUDA 13+ ist der NVIDIA 580-Treiber erforderlich.

EKS-optimized Neuron-AMIs

Einzelheiten zur Ausführung von Trainings- und Inferenz-Workloads mit Neuron mit Amazon EKS finden Sie in den folgenden Referenzen:

Die neuesten EKS-optimized Neuron-AMIs finden Sie unter und. Rufen Sie das empfohlene Amazon Linux AMI ab IDs Empfohlene Bottlerocket-AMI-IDs abrufen

Wenn Sie Amazon Elastic Fabric Adapter (EFA) mit den AMIs EKS-optimized AL2023 oder Bottlerocket Neuron verwenden, müssen Sie das EFA-Geräte-Plugin separat installieren. Weitere Informationen finden Sie unter Ausführung von Machine-Learning-Trainings in Amazon EKS mit Elastic Fabric Adapter.

EKS AL2023 Neuron-AMIs

Die EKS-optimized AL2023 Neuron AMIs enthalten nicht den Neuron DRA-Treiber, das Neuron Kubernetes-Geräte-Plugin oder die Neuron Kubernetes-Scheduler-Erweiterung, und diese müssen separat installiert werden. Weitere Informationen finden Sie unter Neuron-Geräte auf Amazon EKS verwalten.

Zusätzlich zu den standardmäßigen EKS-AMI-Komponenten enthalten die EKS-optimized AL2023 Neuron-AMIs die folgenden Komponenten.

Einzelheiten zur Konfiguration der Neuron-Abhängigkeiten durch die EKS-AMIs finden Sie im EKS AL2023 Neuron AMI-Installationsskript. Die in den AMIs enthaltenen Komponentenversionen finden Sie in den EKS-optimized AL2023-Versionen unter. GitHub Sie finden die Liste der installierten Pakete und ihrer Versionen auf einer laufenden EC2-Instance mit dem dnf list installed Befehl.

EKS Bottlerocket Neuron AMIs

Die Standard-Bottlerocket-Varianten (aws-k8s) beinhalten die Neuron-Abhängigkeiten, die automatisch erkannt und geladen werden, wenn sie auf Inferentia- oder Trainium EC2-Instances ausgeführt werden. AWS

Die EKS-optimized Bottlerocket-AMIs enthalten nicht den Neuron DRA-Treiber, das Neuron Kubernetes-Geräte-Plugin oder die Neuron Kubernetes-Scheduler-Erweiterung, und diese müssen separat installiert werden. Weitere Informationen finden Sie unter Neuron-Geräte auf Amazon EKS verwalten.

Zusätzlich zu den standardmäßigen EKS-AMI-Komponenten enthalten die EKS-optimized Bottlerocket Neuron-AMIs die folgenden Komponenten.

Wenn Sie die EKS-optimized Bottlerocket-AMIs mit Neuron-Instances verwenden, muss Folgendes in den Bottlerocket-Benutzerdaten konfiguriert werden. Diese Einstellung ermöglicht es dem Container, den Besitz des bereitgestellten Neuron-Geräts auf der Grundlage der in der Workload-Spezifikation angegebenen Werte und zu übernehmen. runAsUser runAsGroup Weitere Informationen zur Neuron-Unterstützung in Bottlerocket finden Sie in der Readme-Datei für Schnellstart auf EKS unter. GitHub

[settings]
[settings.kubernetes]
device-ownership-from-security-context = true

Informationen zur Neuron-Treiberversion, die in den Bottlerocket-AMIs enthalten ist, finden Sie im Bottlerocket-Kernel-Kit-Changelog. EKS-optimized