AWS AMI GPU Dasar Pembelajaran Mendalam (Ubuntu 20.04)

• Ubuntu Linux 20.04 LTS mencapai akhir jendela LTS lima tahun pada 31 Mei 2025 dan tidak akan lagi didukung oleh vendornya. Akibatnya, AWS Deep Learning Base GPU AMI (Ubuntu 20.04) tidak akan memiliki pembaruan setelah 31 Mei 2025. Rilis sebelumnya akan terus tersedia. Harap dicatat bahwa AMI apa pun yang dirilis secara publik tidak digunakan lagi oleh EC2 setelah 2 tahun sejak tanggal pembuatannya. Silakan merujuk ke Menghentikan Amazon EC2 AMI untuk informasi lebih lanjut.

• Selama 3 bulan, hingga 31 Agustus 2025, dukungan hanya akan diberikan untuk masalah fungsionalitas (bukan patch keamanan).

• Pengguna Ubuntu 20.04 DLAMI harus pindah ke AWS Deep Learning Base GPU AMI (Ubuntu 22.04) atau AWS Deep Learning Base GPU AMI (Ubuntu 24.04). Atau, AWS Deep Learning Base AMI (Amazon Linux 2023) dapat digunakan.

• Dasar Pembelajaran Mendalam OSS Driver Nvidia GPU AMI (Ubuntu 20.04) $ {} YYYY-MM-DD

• Driver Nvidia GPU AMI Berpemilik Dasar Pembelajaran Mendalam (Ubuntu 20.04) $ {} YYYY-MM-DD

• Silakan merujuk ke Perubahan penting pada DLAMI.

• Pembelajaran Mendalam dengan OSS Driver Nvidia mendukung G4dn, G5, G6, Gr6, G6e, P4d, P4de, P5, P5e, P5en

• Pembelajaran Mendalam dengan Driver Nvidia Proprietary mendukung G3 (G3.16x tidak didukung), P3, P3dn

• AWS Layanan yang Didukung: Amazon EC2

• Sistem Operasi: Ubuntu 20.04

• Arsitektur Komputasi: x86

• Versi terbaru yang tersedia diinstal untuk paket berikut:

  • Kernel Linux 5.15

  • FSx Luster

  • Pelabuhan

  • AWS CLI v2 di/usr/local/bin/aws2 dan AWS CLI v1 di usr/bin /aws

  • NVIDIA DCGM

  • Toolkit wadah Nvidia:

    • Perintah versi: nvidia-container-cli -V

  • Nvidia-docker2:

    • Perintah versi: versi nvidia-docker

• Driver NVIDIA:

  • Driver OS Nvidia: 550.163.01

  • Driver Nvidia eksklusif: 550.163.01

• NVIDIA CUDA 11.7, 12.1-12.4 tumpukan:

  • Direktori instalasi CUDA, NCCL dan CUdDN: /cuda-xx.x/ usr/local

    • Contoh: usr/local /cuda-12.1/

  • Versi NCCL yang Dikompilasi: 2.22.3+ CUDA12.4

  • CUDA default: 12.1

    • PATH usr/local /cuda menunjuk ke CUDA 12.1

    • Diperbarui di bawah env vars:

      • LD_LIBRARY_PATH memiliki /cuda-12. usr/local 1/lib: usr/local /cuda-12. 1/lib64: /cuda-12.1:/ usr/local /cuda-12. usr/local 1/targets/x86_64- linux/lib

      • PATH untuk memiliki usr/local /cuda-12. 1/bin/:/usr/local/cuda-12. 1/include/

      • Untuk versi CUDA yang berbeda, harap perbarui LD_LIBRARY_PATH yang sesuai.

  • Lokasi Tes NCCL:

    • all_reduce, all_gain dan reduce_scatter: /cuda-xx. usr/local x/efa/tes-cuda-xx.x/

    • Untuk menjalankan pengujian NCCL, LD_LIBRARY_PATH harus lulus memiliki pembaruan di bawah ini.

      • Jalur umum sudah ditambahkan ke LD_LIBRARY_PATH:

        • /opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib

      • Untuk versi CUDA yang berbeda, harap perbarui LD_LIBRARY_PATH yang sesuai.

• Penginstal EFA: 1.39.0

• Nvidia GDRCopy: 2.4

• AWS Plugin OFI NCCL: diinstal sebagai bagian dari EFA Installer-aws

  • AWS OFI NCCL sekarang mendukung beberapa versi NCCL dengan build tunggal

  • Jalur instalasi: /opt/aws-ofi-nccl/. Jalur /opt/aws-ofi-nccl/lib ditambahkan ke LD_LIBRARY_PATH.

  • Jalur pengujian untuk ring, message_transfer: /opt/aws-ofi-nccl/tests

• Jenis volume EBS: gp3

• Python: usr/bin //python3.9

• Lokasi Penyimpanan Instans NVMe (pada Instans EC2 yang Didukung): //nvme opt/dlami

• Kueri AMI-ID dengan Parameter SSM (contoh Wilayah adalah us-east-1):

  • Driver OS Nvidia:

    aws ssm get-parameter --region us-east-1 \
        --name /aws/service/deeplearning/ami/x86_64/base-oss-nvidia-driver-gpu-ubuntu-20.04/latest/ami-id  \
        --query "Parameter.Value" \
        --output text

  • Driver Nvidia Berpemilik:

    aws ssm get-parameter --region us-east-1 \
        --name /aws/service/deeplearning/ami/x86_64/base-proprietary-nvidia-driver-gpu-ubuntu-20.04/latest/ami-id \
        --query "Parameter.Value" \
        --output text

• Kueri AMI-ID dengan AWSCLI (contoh Wilayah adalah us-east-1):

  • Driver OS Nvidia:

    aws ec2 describe-images --region us-east-1 \
        --owners amazon \
        --filters 'Name=name,Values=Deep Learning Base OSS Nvidia Driver GPU AMI (Ubuntu 20.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

  • Driver Nvidia Berpemilik:

    aws ec2 describe-images --region us-east-1 \
        --owners amazon \
        --filters 'Name=name,Values=Deep Learning Base Proprietary Nvidia Driver GPU AMI (Ubuntu 20.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

Instans EC2 dengan beberapa kartu jaringan

• Banyak jenis instance yang mendukung EFA juga memiliki beberapa kartu jaringan.

• DeviceIndex unik untuk setiap kartu jaringan, dan harus berupa bilangan bulat non-negatif kurang dari batas ENI per. NetworkCard Pada P5, jumlah ENI per NetworkCard adalah 2, artinya satu-satunya nilai yang valid untuk DeviceIndex adalah 0 atau 1.

  • Untuk antarmuka jaringan utama (indeks kartu jaringan 0, indeks perangkat 0), buat antarmuka EFA (EFA dengan ENA). Anda tidak dapat menggunakan antarmuka EFA-only jaringan sebagai antarmuka jaringan utama.

  • Untuk setiap antarmuka jaringan tambahan, gunakan indeks kartu jaringan yang tidak digunakan berikutnya, indeks perangkat 1, dan EFA (EFA dengan ENA) atau antarmuka EFA-only jaringan, tergantung pada kasus penggunaan Anda, seperti persyaratan bandwidth ENA atau ruang alamat IP. Misalnya kasus penggunaan, lihat konfigurasi EFA untuk instans P5.

  • Untuk informasi lebih lanjut, lihat Panduan EFA di sini.

P5/P5e contoh

• Instans P5 dan P5e berisi 32 kartu antarmuka jaringan, dan dapat diluncurkan menggunakan perintah berikut: AWS CLI

Instans P5en

• P5en berisi 16 kartu antarmuka jaringan, dan dapat diluncurkan menggunakan perintah berikut: AWS CLI

Kernel

• Versi kernel disematkan menggunakan perintah:

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• Kami menyarankan agar pengguna menghindari memperbarui versi kernel mereka (kecuali karena patch keamanan) untuk memastikan kompatibilitas dengan driver dan versi paket yang diinstal. Jika pengguna masih ingin memperbarui, mereka dapat menjalankan perintah berikut untuk membuka pin versi kernel mereka:

  echo linux-aws install | sudo dpkg -set-selections
  echo linux-headers-aws install | sudo dpkg -set-selections
  echo linux-image-aws install | sudo dpkg -set-selections

• Untuk setiap versi baru DLAMI, kernel kompatibel terbaru yang tersedia digunakan.

Nama AMI

• Dasar Pembelajaran Mendalam OSS Driver Nvidia GPU AMI (Ubuntu 20.04) 20250424

• Driver Nvidia GPU AMI Berpemilik Dasar Pembelajaran Mendalam (Ubuntu 20.04) 20250424

• Driver Nvidia yang ditingkatkan dari versi 550.144.03 ke 550.163.01 untuk mengatasi CV yang ada di Buletin Keamanan Driver Tampilan NVIDIA GPU untuk April 2025 https://nvidia.custhelp.com/app/answers/detail/a_id/5630

Nama AMI

• Dasar Pembelajaran Mendalam OSS Driver Nvidia GPU AMI (Ubuntu 20.04) 20250214

• Driver Nvidia GPU AMI Berpemilik Dasar Pembelajaran Mendalam (Ubuntu 20.04) 20250214

• Diperbarui NVIDIA Container Toolkit dari versi 1.17.3 ke versi 1.17.4

  • Silakan lihat halaman catatan rilis di sini untuk informasi lebih lanjut: https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • Di Container Toolkit versi 1.17.4, pemasangan pustaka compat CUDA sekarang dinonaktifkan. Untuk memastikan kompatibilitas dengan beberapa versi CUDA pada alur kerja kontainer, pastikan Anda memperbarui LD_LIBRARY_PATH Anda untuk menyertakan pustaka kompatibilitas CUDA Anda seperti yang ditunjukkan dalam tutorial Jika Anda menggunakan lapisan kompatibilitas CUDA.

• Dihapus pustaka ruang pengguna cuobj dan nvdisasm yang disediakan oleh NVIDIA CUDA toolkit untuk mengatasi CV yang ada di Buletin Keamanan NVIDIA CUDA Toolkit untuk 18 Februari 2025

Nama AMI

• Dasar Pembelajaran Mendalam OSS Driver Nvidia GPU AMI (Ubuntu 20.04) 20250204

• Driver Nvidia GPU AMI Berpemilik Dasar Pembelajaran Mendalam (Ubuntu 20.04) 20250204

• Versi EFA yang ditingkatkan dari 1.37.0 ke 1.38.0

  • EFA sekarang menggabungkan plugin AWS OFI NCCL, yang sekarang dapat ditemukan /opt/amazon/ofi-nccl bukan aslinya. /opt/aws-ofi-nccl/ Jika memperbarui variabel LD_LIBRARY_PATH Anda, pastikan bahwa Anda memodifikasi lokasi OFI NCCL Anda dengan benar.

• Paket emacs telah dihapus dari DLAMIS ini. Pelanggan dapat menginstal emacs dari GNU emacs. https://www.gnu.org/software/emacs/download.html

Nama AMI

• Dasar Pembelajaran Mendalam OSS Driver Nvidia GPU AMI (Ubuntu 20.04) 20250117

• Driver Nvidia GPU AMI Berpemilik Dasar Pembelajaran Mendalam (Ubuntu 20.04) 20250117

• Driver Nvidia yang ditingkatkan dari versi 550.127.05 ke 550.144.03 untuk mengatasi CV yang ada di Buletin Keamanan Driver Tampilan NVIDIA GPU untuk Januari 2025 https://nvidia.custhelp.com/app/answers/detail/a_id/5614

Nama AMI

• Dasar Pembelajaran Mendalam OSS Driver Nvidia GPU AMI (Ubuntu 20.04) 20241206

• Driver Nvidia GPU AMI Berpemilik Dasar Pembelajaran Mendalam (Ubuntu 20.04) 20241206

• Upgrade Nvidia Container Toolkit dari versi 1.17.0 ke 1.17.3

• Menambahkan dukungan untuk Instans P5en EC2.

• Penginstal EFA yang ditingkatkan dari versi 1.35.0 ke 1.37.0

• Tingkatkan Plugin AWS OFI NCCL dari versi 1.12.1-aws ke 1.13.0-aws

Nama AMI

• Dasar Pembelajaran Mendalam OSS Driver Nvidia GPU AMI (Ubuntu 20.04) 20241025

• Driver Nvidia GPU AMI Berpemilik Dasar Pembelajaran Mendalam (Ubuntu 20.04) 20241025

• Driver Nvidia yang ditingkatkan dari versi 550.90.07 ke 550.127.05 untuk mengatasi CV yang ada di Buletin Keamanan Tampilan NVIDIA GPU untuk Oktober 2024 https://nvidia.custhelp.com/app/answers/detail/a_id/5586

• Upgrade Nvidia Container Toolkit dari versi 1.16.1 ke 1.16.2

• Driver Nvidia dan Fabric Manager yang ditingkatkan dari versi 535.183.01 ke 550.90.07

• Versi EFA yang ditingkatkan dari 1.32.0 ke 1.34.0

• NCCL yang ditingkatkan ke versi terbaru 2.22.3 untuk semua versi CUDA

  • CUDA 11.7 ditingkatkan dari versi 2.16.2+ CUDA11.7

  • CUDA 12.1, 12.2 ditingkatkan dari 2.18.5 + CUDA12.2

  • CUDA 12.3 ditingkatkan dari versi 2.21.5+ CUDA12.4

• Menambahkan CUDA toolkit versi 12.4 di direktori /cuda-12.4 usr/local

• Menambahkan dukungan untuk Inst ance P5e EC2.

• Dihapus tumpukan CUDA Toolkit versi 11.8 yang ada di direktori //cuda-11.8 usr/local

• Menambahkan dukungan untuk instance G6e EC2.

Nama AMI

• Dasar Pembelajaran Mendalam OSS Driver Nvidia GPU AMI (Ubuntu 20.04) 20240606

• Driver Nvidia GPU AMI Berpemilik Dasar Pembelajaran Mendalam (Ubuntu 20.04) 20240606

• Versi driver Nvidia yang diperbarui ke 535.183.01 dari 535.161.08

Nama AMI

• Dasar Pembelajaran Mendalam OSS Driver Nvidia GPU AMI (Ubuntu 20.04) 20240515

• Driver Nvidia GPU AMI Berpemilik Dasar Pembelajaran Mendalam (Ubuntu 20.04) 20240515

• Ditambahkan back CUDA11.7 stack di direktori usr/local //cuda-11.7 dengan CUDA11.7, NCCL 2.16.2, cuDNN 8.7.0 sebagai dukungan 1.13 PyTorch CUDA11.7

Nama AMI

• Dasar Pembelajaran Mendalam OSS Driver Nvidia GPU AMI (Ubuntu 20.04) 20240502

• Driver Nvidia GPU AMI Berpemilik Dasar Pembelajaran Mendalam (Ubuntu 20.04) 20240502

• Versi EFA yang diperbarui dari versi 1.30 ke versi 1.32

• Diperbarui plugin AWS OFI NCCL dari versi 1.7.4 ke versi 1.9.1

• Memperbarui toolkit wadah Nvidia dari versi 1.13.5 ke versi 1.15.0 https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.15.0

  • Versi 1.15.0 TIDAK menyertakan paket nvidia-container-runtime dan nvidia-docker2. Disarankan untuk menggunakan paket nvidia-container-toolkit secara langsung dengan mengikuti dokumen toolkit wadah Nvidia. https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/sample-workload.html

• Ditambahkan CUDA12.3 tumpukan dengan CUDA12.3, NCCL 2.21.5, cuDNN 8.9.7

• Dihapus CUDA11.7, tum CUDA12.0 pukan ada di direktori usr/local //cuda-11.7 dan /cuda-12.0 usr/local

• Menghapus paket nvidia-docker2 dan perintahnya nvidia-docker sebagai bagian dari pembaruan toolkit wadah Nvidia dari 1.13.5 ke 1.15.0 yang TIDAK menyertakan paket nvidia-container-runtime dan nvidia-docker2. https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.15.0

• Untuk OSS Nvidia driver DLamis, menambahkan dukungan instans G6 dan Gr6 EC2. Silakan lihat Instans GPU yang Direkomendasikan untuk informasi selengkapnya.

Nama AMI

• Dasar Pembelajaran Mendalam OSS Driver Nvidia GPU AMI (Ubuntu 20.04) 20240326

• Driver Nvidia GPU AMI Berpemilik Dasar Pembelajaran Mendalam (Ubuntu 20.04) 20240326

• Driver Nvidia yang diperbarui dari 535.104.12 menjadi 535.161.08 di driver Nvidia Proprietary dan OSS DLamis.

• Menghapus dukungan instans G4dn, G5 EC2 dari driver Nvidia Proprietary DLAMI.

• Instans baru yang didukung untuk setiap DLAMI adalah sebagai berikut:

  • Pembelajaran Mendalam dengan Driver Nvidia Proprietary mendukung G3 (G3.16x tidak didukung), P3, P3dn

  • Pembelajaran Mendalam dengan OSS Driver Nvidia mendukung G4dn, G5, P4d, P4de, P5.

Nama AMI

• Dasar Pembelajaran Mendalam OSS Driver Nvidia GPU AMI (Ubuntu 20.04) 20240318

• Driver Nvidia GPU AMI Berpemilik Dasar Pembelajaran Mendalam (Ubuntu 20.04) 20240318

• Ditambahkan awscliv2 di AMI di/usr/local/bin/aws2, bersama awscliv1 sebagai usr/bin //aws pada Proprietary dan OSS Nvidia Driver AMI

• Driver OSS Nvidia DLAMI yang diperbarui dengan dukungan G4dn dan G5, berdasarkan dukungan saat ini terlihat seperti di bawah ini:

  • Deep Learning Base Proprietary Nvidia Driver AMI (Ubuntu 20.04) mendukung P3, P3dn, G3, G5, G4dn.

  • Deep Learning Base OSS Driver Nvidia AMI (Ubuntu 20.04) mendukung G5, G4dn, P4, P5.

• OSS Driver Nvidia DLami direkomendasikan untuk digunakan untuk G5, G4dn, P4, P5.

Nama AMI

• Dasar Pembelajaran Mendalam OSS Driver Nvidia GPU AMI (Ubuntu 20.04) 20240208

• Driver Nvidia GPU AMI Berpemilik Dasar Pembelajaran Mendalam (Ubuntu 20.04) 20240208

• AWS Plugin OFI NCCL diperbarui dari 1.7.3 ke 1.7.4

Nama AMI

• Dasar Pembelajaran Mendalam OSS Driver Nvidia GPU AMI (Ubuntu 20.04) 20240201

• Driver Nvidia GPU AMI Berpemilik Dasar Pembelajaran Mendalam (Ubuntu 20.04) 20240201

• Versi paket runc yang diperbarui untuk menggunakan patch. CVE-2024-21626

Nama AMI

• Dasar Pembelajaran Mendalam OSS Driver Nvidia GPU AMI (Ubuntu 20.04) 20231204

• Driver Nvidia GPU AMI Berpemilik Dasar Pembelajaran Mendalam (Ubuntu 20.04) 20231204

• AWS Deep Learning AMI (DLAMI) dibagi menjadi dua kelompok terpisah:

  • DLAMI yang menggunakan Driver Proprietary Nvidia (untuk mendukung P3, P3dn, G3, G5, G4dn).

  • DLAMI yang menggunakan Nvidia OSS Driver untuk mengaktifkan EFA (untuk mendukung P4, P5).

• Silakan merujuk ke Perubahan penting pada DLAMI untuk informasi lebih lanjut tentang pemisahan DLAMI.

• AWS CLI kueri untuk di atas berada di bawah kueri poin- poin AMI-ID dengan AWSCLI (contoh Wilayah adalah us-east-1)

• EFA diperbarui dari 1.26.1 menjadi 1.29.0

• GDRCopy diperbarui dari 2.3 ke 2.4

• AWS OFI NCCL Plugin diperbarui dari versi 1.7.2 ke versi 1.7.3

• Direktori CUDA 12.0-12.1 yang diperbarui dengan NCCL versi 2.18.5 agar sesuai dengan CUDA 12.2

• CUDA12.1 diperbarui sebagai Versi CUDA default

  • Diperbarui LD_LIBRARY_PATH menjadi //cuda-12. usr/local 1/targets/x86_64 linux/lib -/: /cuda-12. usr/local 1/lib: usr/local /cuda-12. 1/lib64: usr/local //cuda-12.1 dan PATH untuk memiliki /cuda-12. usr/local 1/bin/

  • Untuk pelanggan yang ingin mengubah ke versi CUDA yang berbeda, harap tentukan variabel LD_LIBRARY_PATH dan PATH yang sesuai.

• Driver NVIDIA diperbarui dari 535.54.03 ke 535.104.12

  • Driver terbaru ini memperbaiki perubahan pemecahan NVML ABI yang ditemukan di driver versi 535.54.03, serta regresi driver yang ditemukan di versi 535.86.10 yang memengaruhi toolkit CUDA pada instans P5. Silakan merujuk catatan rilis NVIDIA berikut untuk detail tentang perbaikan:

  • Silakan merujuk catatan rilis NVIDIA berikut untuk detail tentang perbaikan:

    • 4235941 - Perbaikan perubahan NVML ABI Memecahkan

    • 4228552 - Perbaikan Kesalahan CUDA Toolkit

• Direktori CUDA 12.2 yang diperbarui dengan NCCL 2.18.5

• EFA diperbarui dari versi 1.24.1 ke terbaru 1.26.1

• Ditambahkan CUDA12.2 di usr/local //cuda-12.2

• Menghapus dukungan untuk CUDA 11.5 dan CUDA 11.6

• Menambahkan perubahan skema net.naming untuk memperbaiki masalah penamaan antarmuka jaringan yang tidak dapat diprediksi (tautan) terlihat di P5. Perubahan ini dilakukan dengan menyetel net.naming-scheme=v247 dalam argumen boot linux di file /grub etc/default

• Diperbarui aws-ofi-nccl plugin dari v1.7.1 ke v1.7.2

• AMI ini sekarang menyediakan dukungan untuk fungsionalitas Multi-node pelatihan pada P5 dan semua instans EC2 yang didukung sebelumnya.

• Untuk instance P5 EC2, NCCL 2.18 direkomendasikan untuk digunakan dan telah ditambahkan ke, dan. CUDA12.0 CUDA12.1

• Dihapus dukungan untuk CUDA11.3 dan CUDA11.4.

• Diperbarui AWS plugin OFI NCCL ke v1.7.1

• Dibuat CUDA11.8 sebagai default karena PyTorch 2.0 mendukung 11.8 dan untuk instance P5 EC2, disarankan untuk menggunakan >= CUDA11.8

  • Diperbarui LD_LIBRARY_PATH menjadi //cuda-11. usr/local 8/targets/x86_64 linux/lib -/: /cuda-11. usr/local 8/lib: usr/local /cuda-11. 8/lib64: usr/local //cuda-11.8 dan PATH untuk memiliki //cuda-11. usr/local 8/bin/

  • Untuk versi cuda yang berbeda, harap tentukan LD_LIBRARY_PATH yang sesuai.

• Direktori CUDA 12.0, 12.1 yang diperbarui dengan NCCL 2.18.3

• Memperbaiki masalah pemuatan paket Nvidia Fabric Manager (FM) yang disebutkan di Tanggal Rilis sebelumnya 2023-07-19.

• EFA diperbarui dari 1.22.1 menjadi 1.24.1

• Driver Nvidia diperbarui dari 525.85.12 menjadi 535.54.03

• Menambahkan perubahan c-state untuk menonaktifkan keadaan idle prosesor dengan mengatur keadaan c maks ke C1. Perubahan ini dilakukan dengan menyetel `intel_idle.max_cstate=1 processor.max_cstate=1` dalam argumen boot linux di file /grub etc/default

• AWS Dukungan instans EC2 P5:

  • Menambahkan dukungan instance P5 EC2 untuk alur kerja menggunakan single. node/instance Multi-node dukungan (misalnya untuk pelatihan multi-node) menggunakan EFA (Elastic Fabric Adapter) dan plugin AWS OFI NCCL akan ditambahkan dalam rilis mendatang.

  • Silakan gunakan CUDA> = 11.8 untuk kinerja optimal.

  • Masalah yang Diketahui: Paket Nvidia Fabric Manager (FM) membutuhkan waktu untuk memuat di P5, pelanggan harus menunggu 2-3 menit hingga FM dimuat setelah meluncurkan instance P5. Untuk memeriksa apakah FM dimulai, jalankan perintah sudo systemctl is-active nvidia-fabricmanager, itu harus kembali aktif sebelum memulai alur kerja apa pun. Ini akan ditingkatkan dalam rilis mendatang.

• EFA diperbarui ke 1.22.1 terbaru

• Versi NCCL yang diperbarui untuk CUDA 12.1 ke 2.17.1

• Ditambahkan CUDA12.1 di usr/local //cuda-12.1

• Menambahkan dukungan untuk NVIDIA Data Center GPU Monitor (DCGM) melalui paket datacenter-gpu-manager

  • Anda dapat memeriksa status layanan ini melalui kueri berikut: sudo systemctl status nvidia-dcgm

• Penyimpanan Instans NVMe Ephemeral sekarang secara otomatis dipasang ke instans EC2 yang didukung dan penyimpanan dapat diakses di folder /nvme/. opt/dlami Anda dapat memeriksa atau memodifikasi layanan ini dengan cara berikut:

  • Periksa status layanan NVMe: status sudo systemctl dlami-nvme

  • Untuk mengakses atau memodifikasi layanan: /opt/aws/dlami/bin/nvme_ephemeral_drives.sh

• Volume NVMe menyediakan solusi penyimpanan tercepat dan paling efisien untuk alur kerja throughput tinggi yang memerlukan kinerja IOPS. Penyimpanan instans NVMe sementara disertakan dengan biaya instans, jadi tidak ada biaya tambahan yang dikeluarkan dengan layanan ini.

• Penyimpanan instans NVMe hanya akan dipasang pada instans EC2 yang mendukungnya. Untuk informasi tentang instans EC2 dengan penyimpanan instans yang didukung NVMe, lihat Volume penyimpanan instans yang tersedia dan validasi bahwa NVMe didukung.

• Untuk meningkatkan kinerja disk dan mengurangi penalti penulisan pertama, Anda dapat menginisialisasi penyimpanan instans (perhatikan, proses ini mungkin memakan waktu berjam-jam tergantung pada jenis instans EC2) - Inisialisasi volume penyimpanan instans pada instans EC2

• CAT ATAN: Penyimpanan instans NVMe dipasang pada instance dan tidak terpasang ke jaringan seperti EBS. Data pada volume NVMe ini mungkin hilang saat reboot atau penghentian instans Anda.

• Memperbarui nama DLAMI dari AWS Deep Learning Base AMI GPU CUDA 11 (Ubuntu 20.04) $ {YYYY-MM-DD} ke Deep Learning Base GPU AMI (Ubuntu 20.04) $ {} YYYY-MM-DD

  • Harap dicatat bahwa kami akan mendukung DLAMI terbaru dengan nama AMI lama selama sebulan dari rilis ini untuk dukungan apa pun yang diperlukan. Pelanggan dapat memperbarui paket OS mereka apt-get update && apt-get upgrade untuk menggunakan patch keamanan.

• Jalur plugin AWS OFI NCCL yang diperbarui dari ke /usr/local/cuda-xx.x/efa/ /opt/aws-ofi-nccl/

• Diperbarui NCCL ke cabang GIT khusus v2.16.2, ditulis bersama oleh AWS dan tim NCCL untuk semua versi CUDA. Ini bekerja lebih baik pada AWS infrastruktur.

• Ditambahkan CUDA12.0 di usr/local //cuda-12.0

• Ditambahkan AWS FSx

• Menambahkan dukungan untuk Python versi 3.9 di usr/bin //python3.9

  • Perhatikan bahwa perubahan ini tidak menggantikan sistem default Python, python3 masih akan mengarahkan sistem. Python3.8

  • Python3.9 dapat diakses menggunakan perintah berikut:

    /usr/bin/python3.9
    python3.9

• D CUDA11.0-11.1 ihapus dari usr/local /cuda-11.x/ karena tidak digunakan oleh versi kerangka kerja yang didukung berdasarkan kebijakan dukungan kerangka kerja. Kebijakan Dukungan DLAMI

• Rilis ini menambahkan dukungan untuk instance EC2 baru p4de.24xlarge.

  • Diperbarui aws-efa-installer ke versi 1.15.2

  • Diperbarui aws-ofi-nccl ke versi 1.3.0-aws yang mencakup topologi untuk p4de.24xlarge.

• Versi EFA yang diperbarui dari 1.15.0 ke 1.15.1

• Rilis pertama