Catatan SageMaker HyperPod rilis Amazon

Menambahkan EKS dukungan Amazon di SageMaker HyperPod. Untuk mempelajari selengkapnya, lihat Mengatur cluster dengan Amazon SageMaker HyperPod EKS.

Meningkatkan fungsionalitas SageMaker HyperPod auto-resume, memperluas kemampuan ketahanan untuk node Slurm yang terpasang dengan Generic (). RESources GRES

Ketika Generic Resources (GRES) dilampirkan ke node Slurm, Slurm biasanya tidak mengizinkan perubahan dalam alokasi node, seperti mengganti node, dan dengan demikian tidak memungkinkan untuk melanjutkan pekerjaan yang gagal. Kecuali dilarang secara eksplisit, fungsionalitas HyperPod auto-resume secara otomatis mengantri ulang pekerjaan yang salah yang terkait dengan node yang diaktifkan. GRES Proses ini melibatkan menghentikan pekerjaan, menempatkannya kembali ke antrian pekerjaan, dan kemudian memulai kembali pekerjaan dari awal.

Pra-paket slurmrestddi. SageMaker HyperPod AMI

Mengubah nilai default untuk ResumeTimeout dan UnkillableStepTimeout dari 60 detik menjadi 300 detik slurm.conf untuk meningkatkan respon sistem dan penanganan pekerjaan.

Melakukan perbaikan kecil pada pemeriksaan kesehatan untuk GPU Manajer Pusat NVIDIA Data (DCGM) dan Antarmuka Manajemen NVIDIA Sistem (nvidia-smi).

Plug-in HyperPod auto-resume dapat menggunakan node idle untuk melanjutkan pekerjaan.

Jalankan perintah berikut untuk memanggil UpdateClusterSoftwareAPIuntuk memperbarui HyperPod cluster yang ada dengan yang terbaru HyperPod DLAMI. Untuk menemukan petunjuk lebih lanjut, lihatPerbarui perangkat lunak SageMaker HyperPod platform cluster.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

Menambahkan kemampuan baru untuk melampirkan penyimpanan tambahan ke instance SageMaker HyperPod cluster. Dengan kemampuan ini, Anda dapat mengonfigurasi penyimpanan tambahan pada tingkat konfigurasi grup instans selama proses pembuatan atau pembaruan klaster, baik melalui SageMaker HyperPod konsol atau CreateClusterdan UpdateClusterAPIs. EBSVolume tambahan dilampirkan ke setiap instance dalam SageMaker HyperPod cluster dan dipasang ke/opt/sagemaker. Untuk mempelajari lebih lanjut tentang mengimplementasikannya di SageMaker HyperPod klaster Anda, lihat dokumentasi yang diperbarui pada halaman berikut.

Perhatikan bahwa Anda perlu memperbarui perangkat lunak HyperPod cluster untuk menggunakan kemampuan ini. Setelah menambal perangkat lunak HyperPod cluster, Anda dapat memanfaatkan kemampuan ini untuk SageMaker HyperPod cluster yang ada yang dibuat sebelum 20 Juni 2024 dengan menambahkan grup instans baru. Kemampuan ini sepenuhnya efektif untuk setiap SageMaker HyperPod cluster yang dibuat setelah 20 Juni 2024.

Jalankan perintah berikut untuk memanggil UpdateClusterSoftwareAPIuntuk memperbarui HyperPod cluster yang ada dengan yang terbaru HyperPod DLAMI. Untuk menemukan petunjuk lebih lanjut, lihatPerbarui perangkat lunak SageMaker HyperPod platform cluster.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

Memperbaiki bug dengan ThreadsPerCore parameter di file ClusterInstanceGroupSpecificationAPI. Dengan perbaikan, CreateClusterdan UpdateClusterAPIsdengan benar mengambil dan menerapkan input pengguna melaluiThreadsPerCore. Perbaikan ini efektif pada HyperPod cluster yang dibuat setelah 24 April 2024. Jika Anda memiliki masalah dengan bug ini dan ingin mendapatkan perbaikan ini diterapkan ke cluster Anda, Anda perlu membuat cluster baru. Pastikan Anda mencadangkan dan memulihkan pekerjaan Anda saat pindah ke cluster baru mengikuti instruksi diGunakan skrip cadangan yang disediakan oleh SageMaker HyperPod.

Dalam rilis ini HyperPod DLAMI, Slurm dibangun dengan REST service (slurmestd) denganJSON,YAML, dan JWT dukungan.

Slurm yang ditingkatkan ke v23.11.3

Jalankan perintah berikut untuk memanggil UpdateClusterSoftwareAPIuntuk memperbarui HyperPod cluster yang ada dengan yang terbaru HyperPod DLAMI. Untuk menemukan petunjuk lebih lanjut, lihatPerbarui perangkat lunak SageMaker HyperPod platform cluster.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

Peningkatan batas waktu layanan auto-resume menjadi 60 menit.

Proses penggantian instance yang ditingkatkan untuk tidak memulai ulang pengontrol Slurm.

Pesan kesalahan yang disempurnakan dari menjalankan skrip siklus hidup, seperti kesalahan pengunduhan dan kesalahan pemeriksaan kesehatan instance saat memulai instance.

Memperbaiki bug dengan layanan chrony yang menyebabkan masalah dengan sinkronisasi waktu.

Memperbaiki bug dengan parsingslurm.conf.

Memperbaiki masalah dengan NVIDIAgo-dcgmperpustakaan.

Slurm yang ditingkatkan ke v23.11.1

Ditambahkan O penPMIx v4.2.6 untuk mengaktifkan Slurm dengan. PMIx

Dibangun di atas AWS Deep Learning Base GPU AMI (Ubuntu 20.04) dirilis pada 2023-10-26

Daftar lengkap paket pra-instal HyperPod DLAMI dalam hal ini selain basis AMI

Jalankan perintah berikut untuk memanggil UpdateClusterSoftwareAPIuntuk memperbarui HyperPod cluster yang ada dengan yang terbaru HyperPod DLAMI. Untuk menemukan petunjuk lebih lanjut, lihatPerbarui perangkat lunak SageMaker HyperPod platform cluster.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

HyperPod sekarang benar mendukung melewati nama partisi yang disediakan melalui provisioning_params.json dan membuat partisi tepat berdasarkan input yang disediakan. Untuk informasi lebih lanjut tentangprovisioning_params.json, lihat SageMaker HyperPod bentuk danSageMaker HyperPod praktik terbaik konfigurasi siklus hidup.

Menambahkan yang baru UpdateClusterSoftware API untuk patch SageMaker HyperPod keamanan. Ketika patch keamanan tersedia, kami sarankan Anda untuk memperbarui SageMaker HyperPod cluster yang ada di akun Anda dengan menjalankan. aws sagemaker update-cluster-software --cluster-name your-cluster-name Untuk menindaklanjuti patch keamanan masa depan, terus lacak halaman catatan SageMaker HyperPod rilis Amazon ini. Untuk mempelajari cara UpdateClusterSoftware API kerjanya, lihatPerbarui perangkat lunak SageMaker HyperPod platform cluster.

Meluncurkan Amazon SageMaker HyperPod di AWS RE: Ciptakan 2023.

Dibangun di atas AWS Deep Learning Base GPU AMI (Ubuntu 20.04) dirilis pada 2023-10-18

Daftar lengkap paket pra-instal HyperPod DLAMI dalam hal ini selain basis AMI