Contribuisci a migliorare questa pagina

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Per contribuire a questa guida per l'utente, scegli il GitHub link Modifica questa pagina nel riquadro destro di ogni pagina.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Usa AMI EKS-optimized accelerate per istanze GPU

Amazon EKS supporta le AMI EKS-optimized Amazon Linux e Bottlerocket per istanze GPU. Le AMI EKS-optimized accelerate semplificano l'esecuzione di carichi di lavoro AI e ML nei cluster EKS fornendo immagini del sistema operativo predefinite e convalidate per lo stack Kubernetes accelerato. Oltre ai componenti principali di Kubernetes inclusi nelle EKS-optimized AMI standard, le AMI EKS-optimized accelerate includono i moduli e i driver del kernel necessari per eseguire le GPU NVIDIA G e le istanze P EC2 e le istanze AWS GPU Inferentia e Trainium EC2 nei cluster EKS.

La tabella seguente mostra i tipi di istanza GPU supportati per ogni variante EKS-optimized AMI accelerata. Consulta le versioni EKS-optimized AL2023 e le versioni di Bottlerocket GitHub per gli ultimi aggiornamenti alle varianti AMI.

EKS-optimized AMI NVIDIA

Utilizzando le AMI EKS-optimized NVIDIA, l'utente accetta il contratto di licenza per l'utente finale del cloud (EULA) di NVIDIA.

Per trovare le AMI EKS-optimized NVIDIA più recenti, consulta e. Recupera le AMI Amazon Linux consigliate IDs Recupero degli ID AMI Bottlerocket consigliati

Quando si utilizza Amazon Elastic Fabric Adapter (EFA) con le AMI NVIDIA EKS-optimized AL2023 o Bottlerocket, è necessario installare il plug-in del dispositivo EFA separatamente. Per ulteriori informazioni, consulta Esecuzione dei corsi di machine learning su Amazon EKS con Elastic Fabric Adapter.

AMI NVIDIA EKS AL2023

Quando si utilizza l'operatore GPU NVIDIA con le AMI NVIDIA EKS-optimized AL2023, è necessario disabilitare l'installazione da parte dell'operatore del driver e del toolkit, poiché questi sono già inclusi nelle AMI EKS. Le AMI NVIDIA EKS-optimized AL2023 non includono il plug-in per dispositivi NVIDIA Kubernetes o il driver NVIDIA DRA e devono essere installate separatamente. Per ulteriori informazioni, consulta Gestisci i dispositivi GPU NVIDIA su Amazon EKS.

Oltre ai componenti AMI EKS standard, le AMI NVIDIA EKS-optimized AL2023 includono i seguenti componenti.

Per i dettagli sul driver in modalità utente NVIDIA CUDA e sul CUDA runtime/libraries utilizzato nei contenitori delle applicazioni, consulta la documentazione NVIDIA. La versione CUDA mostrata nvidia-smi è la versione del driver in modalità utente NVIDIA CUDA installato sull'host, che deve essere compatibile con il CUDA utilizzato nei contenitori di applicazioni. runtime/libraries

Le AMI NVIDIA EKS-optimized AL2023 supportano il kernel 6.12 per le versioni 1.33 e successive di Kubernetes e la versione del driver NVIDIA 580 per tutte le versioni di Kubernetes. Il driver NVIDIA 580 è necessario per utilizzare CUDA 13+.

Consulta le versioni EKS-optimized AL2023 su GitHub per informazioni dettagliate sulle versioni dei componenti incluse nelle AMI. Consulta lo script di installazione dell'AMI NVIDIA EKS AL2023 e lo script di caricamento del kernel per i dettagli su come le AMI EKS configurano le dipendenze NVIDIA. Puoi trovare l'elenco dei pacchetti installati e delle relative versioni su un'istanza EC2 in esecuzione con il comando. dnf list installed

Quando si creano AMI personalizzate con le EKS-optimized AMI come base, non è consigliato né supportato eseguire un aggiornamento del sistema operativo (ad esempiodnf upgrade) o aggiornare uno qualsiasi dei pacchetti Kubernetes o GPU inclusi nelle EKS-optimized AMI, poiché ciò rischia di compromettere la compatibilità dei componenti. Se si esegue l'aggiornamento del sistema operativo o dei pacchetti inclusi nelle EKS-optimized AMI, si consiglia di eseguire test approfonditi in un ambiente di sviluppo o di gestione temporanea prima di passare alla produzione.

Quando si creano AMI personalizzate per istanze GPU, si consiglia di creare AMI personalizzate separate per ogni tipo di generazione e famiglia di istanze che verrà eseguita. Le AMI EKS-optimized accelerate installano selettivamente driver e pacchetti in fase di esecuzione in base alla generazione e alla famiglia di istanze sottostanti. Per ulteriori informazioni, consulta gli script EKS AMI per l'installazione e il runtime.

AMI NVIDIA EKS Bottlerocket

Quando si utilizza l'operatore GPU NVIDIA con le AMI NVIDIA EKS-optimized Bottlerocket, è necessario disabilitare l'installazione da parte dell'operatore del driver, del toolkit e del plug-in del dispositivo poiché questi sono già inclusi nelle AMI EKS.

Oltre ai componenti AMI EKS standard, le AMI NVIDIA EKS-optimized Bottlerocket includono i seguenti componenti. Le dipendenze minime per EFA (modulo kernel e rdma-core) sono installate in tutte le varianti di Bottlerocket.

Per i dettagli sul driver in modalità utente NVIDIA CUDA e sul CUDA runtime/libraries utilizzato nei contenitori delle applicazioni, consulta la documentazione NVIDIA. La versione CUDA mostrata nvidia-smi è la versione del driver in modalità utente NVIDIA CUDA installato sull'host, che deve essere compatibile con il CUDA utilizzato nei contenitori di applicazioni. runtime/libraries

Consulta le informazioni sulla versione di Bottlerocket nella documentazione di Bottlerocket per i dettagli sui pacchetti installati e sulle relative versioni. Le AMI NVIDIA EKS-optimized Bottlerocket supportano il kernel 6.12 per le versioni 1.33 e successive di Kubernetes e la versione del driver NVIDIA 580 per le versioni 1.34 e successive di Kubernetes. Il driver NVIDIA 580 è necessario per utilizzare CUDA 13+.

EKS-optimized AMI Neuron

Per i dettagli su come eseguire carichi di lavoro di addestramento e inferenza utilizzando Neuron con Amazon EKS, consulta i seguenti riferimenti:

Per trovare le AMI EKS-optimized Neuron più recenti, consulta e. Recupera le AMI Amazon Linux consigliate IDs Recupero degli ID AMI Bottlerocket consigliati

Quando usi Amazon Elastic Fabric Adapter (EFA) con le AMI EKS-optimized AL2023 o Bottlerocket Neuron, devi installare il plug-in del dispositivo EFA separatamente. Per ulteriori informazioni, consulta Esecuzione dei corsi di machine learning su Amazon EKS con Elastic Fabric Adapter.

AMI neuronali EKS AL2023

Le AMI Neuron EKS-optimized AL2023 non includono il driver Neuron DRA, il plug-in del dispositivo Neuron Kubernetes o l'estensione di pianificazione Neuron Kubernetes e devono essere installate separatamente. Per ulteriori informazioni, consulta Gestisci i dispositivi Neuron su Amazon EKS.

Oltre ai componenti standard EKS AMI, le AMI Neuron EKS-optimized AL2023 includono i seguenti componenti.

Consulta lo script di installazione dell'AMI EKS AL2023 Neuron per i dettagli su come le AMI EKS configurano le dipendenze Neuron. Consulta le versioni EKS-optimized AL2023 su GitHub per vedere le versioni dei componenti incluse nelle AMI. Puoi trovare l'elenco dei pacchetti installati e delle relative versioni su un'istanza EC2 in esecuzione con il comando. dnf list installed

AMI EKS Bottlerocket Neuron

Le varianti standard di Bottlerocket (aws-k8s) includono le dipendenze Neuron che vengono rilevate e caricate automaticamente durante l'esecuzione su istanze Inferentia o Trainium EC2. AWS

Le AMI EKS-optimized Bottlerocket non includono il driver Neuron DRA, il plug-in del dispositivo Neuron Kubernetes o l'estensione di pianificazione Neuron Kubernetes e devono essere installate separatamente. Per ulteriori informazioni, consulta Gestisci i dispositivi Neuron su Amazon EKS.

Oltre ai componenti AMI EKS standard, le AMI EKS-optimized Bottlerocket Neuron includono i seguenti componenti.

Quando si utilizzano le AMI EKS-optimized Bottlerocket con istanze Neuron, è necessario configurare quanto segue nei dati utente di Bottlerocket. Questa impostazione consente al contenitore di assumere la proprietà del dispositivo Neuron montato in base ai valori e forniti nelle specifiche del carico di lavoro. runAsUser runAsGroup Per ulteriori informazioni sul supporto di Neuron in Bottlerocket, consulta il readme di Quickstart on EKS su. GitHub

[settings]
[settings.kubernetes]
device-ownership-from-security-context = true

Consulta il changelog del kit kernel Bottlerocket per informazioni sulla versione del driver Neuron inclusa nelle AMI Bottlerocket. EKS-optimized