Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Fitur inti dari perpustakaan paralelisme SageMaker model v2
Perpustakaan paralelisme SageMaker model Amazon v2 (SMPv2) menawarkan strategi distribusi dan teknik penghematan memori, seperti paralelisme data sharded, paralelisme tensor, dan pos pemeriksaan. Strategi dan teknik paralelisme model yang ditawarkan oleh SMP v2 membantu mendistribusikan model besar di beberapa perangkat sambil mengoptimalkan kecepatan pelatihan dan konsumsi memori. SMPv2 juga menyediakan paket Python torch.sagemaker untuk membantu menyesuaikan skrip pelatihan Anda dengan beberapa baris perubahan kode.
Panduan ini mengikuti aliran dua langkah dasar yang diperkenalkan. Gunakan perpustakaan paralelisme SageMaker model v2 Untuk menyelami fitur-fitur inti SMP v2 dan cara menggunakannya, lihat topik berikut.
catatan
Fitur inti ini tersedia di SMP v2.0.0 dan yang lebih baru dan SageMaker Python SDK v2.200.0 dan yang lebih baru, dan berfungsi untuk v2.0.1 dan yang lebih baru. PyTorch Untuk memeriksa versi paket, lihatKerangka kerja yang didukung dan Wilayah AWS.
Topik
- Paralelisme data sharded hibrida
- Paralelisme ahli
- Paralelisme konteks
- Kompatibilitas dengan SMDDP perpustakaan yang dioptimalkan untuk AWS infrastruktur
- Pelatihan presisi campuran
- Inisialisasi parameter tertunda
- Pos pemeriksaan aktivasi
- Pembongkaran aktivasi
- Paralelisme tensor
- Penyetelan halus
- FlashAttention
- Checkpointing menggunakan SMP
