Jalankan beban kerja pelatihan terdistribusi dengan Slurm on HyperPod

• Pustaka paralelisme data SageMaker terdistribusi (SMDDP) yang menawarkan operasi komunikasi kolektif yang dioptimalkan untuk. AWS

• Pustaka paralelisme SageMaker model (SMP) yang mengimplementasikan berbagai teknik paralelisme model.

• PyTorchdata paralel terdistribusi (DDP)

• PyTorch paralelisme data yang sepenuhnya dipecah () FSDP

• DeepSpeed

• Megatron- DeepSpeed

• Perpustakaan menawarkan AllGather dioptimalkan untuk AWS. AllGatheradalah operasi kunci yang digunakan dalam pelatihan paralel data sharded, yang merupakan teknik paralelisme data hemat memori yang ditawarkan oleh perpustakaan populer. Ini termasuk library SageMaker model parallelism (SMP), DeepSpeed Zero Redundancy Optimizer (Zero), dan PyTorch Fully Sharded Data Parallelism (). FSDP

• Pustaka melakukan node-to-node komunikasi yang dioptimalkan dengan sepenuhnya memanfaatkan infrastruktur AWS jaringan dan topologi instance SageMaker ML.

• awsome-distributed-training/3.test_cases/12.SM-dataparallel-FSDP

• awsome-distributed-training/3.test_cases/13.SM-dataparallel-deepspeed

• PyTorch v2.0.1 dan yang lebih baru

• CUDAv11.8 dan yang lebih baru

• libstdc++versi runtime lebih besar dari 3

• Python v3.10.x dan yang lebih baru

• ml.p4d.24xlargedanml.p4de.24xlarge, yang merupakan tipe instance yang didukung oleh SMDDP perpustakaan

• imdsv2diaktifkan pada host pelatihan

• Instalasi langsung menggunakan file SMDDP biner.

• Menggunakan SageMaker Deep Learning Containers (DLCs) yang sudah diinstal sebelumnya dengan SMDDP library.

Untuk menginstal SMDDP perpustakaan di SageMaker HyperPod DLAMI

• pip install --no-cache-dir https://smdataparallel.s3.amazonaws.com/binary/pytorch/<pytorch-version>/cuXYZ/YYYY-MM-DD/smdistributed_dataparallel-X.Y.Z-cp310-cp310-linux_x86_64.whl

  catatan

  Jika Anda bekerja di lingkungan Conda, pastikan Anda menginstal PyTorch menggunakan conda install alih-alih. pip

  conda install pytorch==X.Y.Z  torchvision==X.Y.Z torchaudio==X.Y.Z pytorch-cuda=X.Y.Z -c pytorch -c nvidia

Untuk menggunakan SMDDP pustaka pada wadah Docker

• SMDDPPustaka sudah diinstal sebelumnya pada SageMaker Deep Learning Containers (DLCs). Untuk menemukan daftar SageMaker kerangka kerja DLCs PyTorch dengan SMDDP pustaka, lihat Kerangka Kerja yang Didukung dalam dokumentasi SMDDP pustaka. Anda juga dapat membawa wadah Docker Anda sendiri dengan dependensi yang diperlukan diinstal untuk menggunakan perpustakaan. SMDDP Untuk mempelajari lebih lanjut tentang menyiapkan wadah Docker khusus untuk menggunakan SMDDP pustaka, lihat jugaBuat wadah Docker Anda sendiri dengan pustaka paralel data SageMaker terdistribusi.

  penting

  Untuk menggunakan SMDDP pustaka dalam wadah Docker, pasang /var/log direktori dari mesin host ke /var/log dalam wadah. Ini dapat dilakukan dengan menambahkan opsi berikut saat menjalankan wadah Anda.

  docker run <OTHER_OPTIONS> -v /var/log:/var/log ...

• paralelisme data yang sepenuhnya dipecah

• paralelisme ahli

• pelatihan presisi campuran FP16 BF16 dengan/dan tipe FP8 data

• paralelisme tensor