Bantu meningkatkan halaman ini

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Untuk berkontribusi pada panduan pengguna ini, pilih GitHub tautan Edit halaman ini di yang terletak di panel kanan setiap halaman.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gunakan AMI EKS-optimized yang dipercepat untuk instans GPU

Amazon EKS mendukung AMI EKS-optimized Amazon Linux dan Bottlerocket untuk instans GPU. AMI yang EKS-optimized dipercepat menyederhanakan menjalankan beban kerja AI dan ML di cluster EKS dengan menyediakan gambar sistem operasi yang telah dibuat sebelumnya dan divalidasi untuk tumpukan Kubernetes yang dipercepat. Selain komponen inti Kubernetes yang disertakan dalam EKS-optimized AMI standar, AMI yang EKS-optimized dipercepat mencakup modul kernel dan driver yang diperlukan untuk menjalankan instans GPU dan P EC2 NVIDIA, G dan instans AWS GPU Inferentia dan Trainium EC2 di cluster EKS.

Tabel di bawah ini menunjukkan jenis instans GPU yang didukung untuk setiap varian AMI yang EKS-optimized dipercepat. Lihat rilis EKS-optimized AL2023 dan rilis Bottlerocket GitHub untuk pembaruan terbaru untuk varian AMI.

EKS-optimized NVIDIA AMI

Dengan menggunakan AMI EKS-optimized NVIDIA, Anda menyetujui Perjanjian Lisensi Pengguna Akhir Cloud (EULA) https://s3.amazonaws.com/EULA/NVidiaEULAforAWS.pdf NVIDIA.

Untuk menemukan AMI EKS-optimized NVIDIA terbaru, lihat Ambil AMI Amazon Linux yang direkomendasikan IDs danAmbil Bottlerocket AMI yang direkomendasikan IDs.

Saat menggunakan Amazon Elastic Fabric Adapter (EFA) dengan AMI NVIDIA EKS-optimized AL2023 atau Bottlerocket, Anda harus menginstal plugin perangkat EFA secara terpisah. Untuk informasi selengkapnya, lihat Jalankan pelatihan pembelajaran mesin di Amazon EKS dengan Adaptor Kain Elastis.

EX AL2023 NVIDIA AMI

Saat menggunakan operator GPU NVIDIA dengan AMI NVIDIA EKS-optimized AL2023, Anda harus menonaktifkan instalasi operator driver dan toolkit, karena ini sudah termasuk dalam AMI EKS. AMI NVIDIA EKS-optimized AL2023 tidak menyertakan plugin perangkat NVIDIA Kubernetes atau driver NVIDIA DRA, dan ini harus diinstal secara terpisah. Untuk informasi selengkapnya, lihat Kelola GPU NVIDIA di Amazon EKS.

Selain komponen EKS AMI standar, AMI NVIDIA EKS-optimized AL2023 mencakup komponen-komponen berikut.

Untuk detail tentang driver mode pengguna NVIDIA CUDA dan CUDA yang runtime/libraries digunakan dalam wadah aplikasi, lihat dokumentasi NVIDIA. Versi CUDA yang ditampilkan dari nvidia-smi adalah versi driver mode pengguna NVIDIA CUDA yang diinstal pada host, yang harus kompatibel dengan CUDA yang runtime/libraries digunakan dalam wadah aplikasi.

AMi NVIDIA EKS-optimized AL2023 mendukung kernel 6.12 untuk Kubernetes versi 1.33 ke atas, dan driver NVIDIA versi 580 untuk semua versi Kubernetes. Driver NVIDIA 580 diperlukan untuk menggunakan CUDA 13+.

Lihat rilis EKS-optimized https://github.com/awslabs/amazon-eks-ami/releases AL2023 GitHub untuk detail versi komponen yang disertakan dalam AMI. Lihat skrip instalasi EKS AL2023 NVIDIA AMI dan skrip pemuatan kernel untuk detail tentang cara EKS AMI mengonfigurasi dependensi NVIDIA. Anda dapat menemukan daftar paket yang diinstal dan versinya pada instance EC2 yang sedang berjalan dengan dnf list installed perintah.

Saat membuat AMI khusus dengan EKS-optimized AMI sebagai dasarnya, tidak disarankan atau didukung untuk menjalankan upgrade sistem operasi (mis.dnf upgrade) atau memutakhirkan paket Kubernetes atau GPU apa pun yang disertakan dalam EKS-optimized AMI, karena ini berisiko merusak kompatibilitas komponen. Jika Anda memutakhirkan sistem operasi atau paket yang disertakan dalam EKS-optimized AMI, disarankan untuk menguji secara menyeluruh di lingkungan pengembangan atau pementasan sebelum menerapkan ke produksi.

Saat membuat AMI khusus untuk instans GPU, disarankan untuk membuat AMI kustom terpisah untuk setiap generasi jenis instans dan keluarga yang akan Anda jalankan. AMI yang EKS-optimized dipercepat secara selektif menginstal driver dan paket saat runtime berdasarkan generasi dan keluarga jenis instans yang mendasarinya. Untuk informasi selengkapnya, lihat skrip EKS AMI untuk instalasi dan runtime.

EKS Bottlerocket NVIDIA AMI

Saat menggunakan operator GPU NVIDIA dengan AMI NVIDIA EKS-optimized Bottlerocket, Anda harus menonaktifkan instalasi operator driver, toolkit, dan plugin perangkat karena ini sudah termasuk dalam AMI EKS.

Selain komponen EKS AMI standar, AMI NVIDIA EKS-optimized Bottlerocket mencakup komponen-komponen berikut. Dependensi minimal untuk EFA (modul kernel dan rdma-core) diinstal di semua varian Bottlerocket.

Untuk detail tentang driver mode pengguna NVIDIA CUDA dan CUDA yang runtime/libraries digunakan dalam wadah aplikasi, lihat dokumentasi NVIDIA. Versi CUDA yang ditampilkan dari nvidia-smi adalah versi driver mode pengguna NVIDIA CUDA yang diinstal pada host, yang harus kompatibel dengan CUDA yang runtime/libraries digunakan dalam wadah aplikasi.

Lihat Informasi Versi Bottlerocket dalam dokumentasi Bottlerocket untuk detail tentang paket yang diinstal dan versinya. AMI NVIDIA EKS-optimized Bottlerocket mendukung kernel 6.12 untuk Kubernetes versi 1.33 dan lebih tinggi, dan driver NVIDIA versi 580 untuk Kubernetes versi 1.34 dan lebih tinggi. Driver NVIDIA 580 diperlukan untuk menggunakan CUDA 13+.

EKS-optimized Neuron AMI

Untuk detail tentang cara menjalankan beban kerja pelatihan dan inferensi menggunakan Neuron dengan Amazon EKS, lihat referensi berikut:

Untuk menemukan N EKS-optimized euron AMI terbaru, lihat Ambil AMI Amazon Linux yang direkomendasikan IDs danAmbil Bottlerocket AMI yang direkomendasikan IDs.

Saat menggunakan Amazon Elastic Fabric Adapter (EFA) dengan AMI EKS-optimized AL2023 atau Bottlerocket Neuron, Anda harus menginstal plugin perangkat EFA secara terpisah. Untuk informasi selengkapnya, lihat Jalankan pelatihan pembelajaran mesin di Amazon EKS dengan Adaptor Kain Elastis.

EKS AL2023 Neuron AMI

AMI Neuron EKS-optimized AL2023 tidak menyertakan driver Neuron DRA, plugin perangkat Neuron Kubernetes, atau ekstensi penjadwal Neuron Kubernetes, dan ini harus diinstal secara terpisah. Untuk informasi selengkapnya, lihat Kelola perangkat Neuron di Amazon EKS.

Selain komponen EKS AMI standar, AMI Neuron EKS-optimized AL2023 mencakup komponen-komponen berikut.

Lihat skrip instalasi EKS AL2023 Neuron AMI untuk detail tentang bagaimana EKS AMI mengonfigurasi dependensi Neuron. Lihat rilis EKS-optimized https://github.com/awslabs/amazon-eks-ami/releases AL2023 GitHub untuk melihat versi komponen yang disertakan dalam AMI. Anda dapat menemukan daftar paket yang diinstal dan versinya pada instance EC2 yang sedang berjalan dengan dnf list installed perintah.

EKS Bottlerocket Neuron AMI

Varian Bottlerocket standar (aws-k8s) mencakup dependensi Neuron yang secara otomatis terdeteksi dan dimuat saat berjalan pada instans Inferentia atau Trainium EC2. AWS

AMI EKS-optimized Bottlerocket tidak menyertakan driver Neuron DRA, plugin perangkat Neuron Kubernetes, atau ekstensi penjadwal Neuron Kubernetes, dan ini harus diinstal secara terpisah. Untuk informasi selengkapnya, lihat Kelola perangkat Neuron di Amazon EKS.

Selain komponen EKS AMI standar, AMI Neuron EKS-optimized Bottlerocket mencakup komponen-komponen berikut.

Saat menggunakan AMI EKS-optimized Bottlerocket dengan instance Neuron, berikut ini harus dikonfigurasi dalam data pengguna Bottlerocket. Pengaturan ini memungkinkan wadah untuk mengambil kepemilikan perangkat Neuron yang dipasang berdasarkan runAsGroup nilai runAsUser dan yang disediakan dalam spesifikasi beban kerja. Untuk informasi lebih lanjut tentang dukungan Neuron di Bottlerocket, lihat Quickstart on EKS readme di. GitHub

[settings]
[settings.kubernetes]
device-ownership-from-security-context = true

Lihat changelog kit kernel Bottlerocket untuk informasi tentang versi driver Neuron yang disertakan dalam AMI Bottlerocket. EKS-optimized