Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
SageMaker catatan rilis perpustakaan paralelisme data
Lihat catatan rilis berikut untuk melacak pembaruan terbaru untuk pustaka paralelisme data SageMaker terdistribusi (SMDDP).
Pustaka paralelisme data SageMaker terdistribusi v2.3.0
Tanggal: 11 Juni 2024
Fitur baru
-
Menambahkan dukungan untuk PyTorch v2.3.0 dengan CUDA v12.1 dan Python v3.11.
-
Ditambahkan dukungan untuk PyTorch Lightning v2.2.5. Ini diintegrasikan ke dalam wadah SageMaker kerangka kerja untuk PyTorch v2.3.0.
-
Menambahkan validasi tipe instance selama impor untuk mencegah pemuatan pustaka SMDDP pada jenis instance yang tidak didukung. Untuk daftar jenis instance yang kompatibel dengan pustaka SMDDP, lihat. Kerangka kerja yang didukung, Wilayah AWS, dan tipe instance
Integrasi ke dalam Wadah SageMaker Kerangka
Versi library SMDDP ini dimigrasikan ke Framework Container berikutSageMaker .
-
PyTorch v2.3.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker
Untuk daftar lengkap versi pustaka SMDDP dan kontainer yang sudah dibuat sebelumnya, lihat. Kerangka kerja yang didukung, Wilayah AWS, dan tipe instance
File biner dari rilis ini
Anda dapat mengunduh atau menginstal perpustakaan menggunakan URL berikut.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl
Perubahan lainnya
-
Pustaka SMDDP v2.2.0 diintegrasikan ke dalam wadah SageMaker kerangka kerja untuk v2.2.0. PyTorch
Pustaka paralelisme data SageMaker terdistribusi v2.2.0
Tanggal: 4 Maret 2024
Fitur baru
-
Menambahkan dukungan untuk PyTorch v2.2.0 dengan CUDA v12.1.
Integrasi ke dalam wadah Docker didistribusikan oleh perpustakaan SageMaker model paralelisme (SMP)
Versi pustaka SMDDP ini dimigrasikan ke. Pustaka paralelisme SageMaker model v2.2.0
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121
Untuk Wilayah di mana gambar SMP Docker tersedia, lihat. Wilayah AWS
File biner dari rilis ini
Anda dapat mengunduh atau menginstal perpustakaan menggunakan URL berikut.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whl
Pustaka paralelisme data SageMaker terdistribusi v2.1.0
Tanggal: 1 Maret 2024
Fitur baru
-
Menambahkan dukungan untuk PyTorch v2.1.0 dengan CUDA v12.1.
Perbaikan bug
-
Memperbaiki masalah kebocoran memori CPU diSMDDP v2.0.1.
Integrasi ke dalam Wadah SageMaker Kerangka
-
PyTorch v2.1.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker
Integrasi ke dalam wadah Docker didistribusikan oleh perpustakaan SageMaker model paralelisme (SMP)
Versi pustaka SMDDP ini dimigrasikan ke. Pustaka paralelisme SageMaker model v2.1.0
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121
Untuk Wilayah di mana gambar SMP Docker tersedia, lihat. Wilayah AWS
File biner dari rilis ini
Anda dapat mengunduh atau menginstal perpustakaan menggunakan URL berikut.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whl
Pustaka paralelisme data SageMaker terdistribusi v2.0.1
Tanggal: 7 Desember 2023
Fitur baru
-
Menambahkan implementasi SMDDP baru dari operasi
AllGatherkolektif yang dioptimalkan untuk sumber daya AWS komputasi dan infrastruktur jaringan. Untuk mempelajari selengkapnya, lihat Operasi kolektif SMDDP AllGather. -
Operasi
AllGatherkolektif SMDDP kompatibel dengan PyTorch FSDP dan. DeepSpeed Untuk mempelajari selengkapnya, lihat Gunakan SMDDP perpustakaan dalam skrip PyTorch pelatihan Anda. -
Ditambahkan dukungan untuk PyTorch v2.0.1
Masalah yang diketahui
-
Ada masalah kebocoran memori CPU dari peningkatan memori CPU bertahap saat berlatih dengan SMDDP dalam mode DDP
AllReduce.
Integrasi ke dalam Wadah SageMaker Kerangka
-
PyTorch v2.0.1
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker
File biner dari rilis ini
Anda dapat mengunduh atau menginstal perpustakaan menggunakan URL berikut.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl
Perubahan lainnya
-
Mulai dari rilis ini, dokumentasi untuk perpustakaan SMDDP sepenuhnya tersedia di Panduan SageMaker Pengembang Amazon ini. Untuk mendukung panduan pengembang lengkap untuk SMDDP v2 yang terdapat di Panduan SageMaker Pengembang Amazon, dokumentasi untuk referensi tambahan untuk SMDDP v1.x dalam
dokumentasi SageMaker Python SDK tidak lagi didukung. Jika Anda masih memerlukan dokumentasi SMP v1.x, lihat snapshot dokumentasi berikut di dokumentasi SageMaker Python SDK v2.212.0.
