SageMaker perpustakaan paralelisme model v2

Pustaka paralelisme SageMaker model Amazon adalah kemampuan yang memungkinkan kinerja tinggi dan pelatihan skala besar SageMaker yang dioptimalkan pada instans komputasi yang SageMaker dipercepat. Fitur inti dari perpustakaan paralelisme SageMaker model v2Termasuk teknik dan pengoptimalan untuk mempercepat dan menyederhanakan pelatihan model besar, seperti paralelisme data sharded hybrid, paralelisme tensor, checkpointing aktivasi, dan pembongkaran aktivasi. Anda dapat menggunakan perpustakaan SMP untuk mempercepat pelatihan dan penyempurnaan model bahasa besar (LLM), model visi besar (LVM), dan model fondasi (MM) dengan ratusan miliar parameter.

Pustaka paralelisme SageMaker model v2 (SMP v2) menyelaraskan API dan metode perpustakaan dengan open source PyTorch Fully Sharded Data Parallelism (FSDP), yang memberi Anda manfaat pengoptimalan kinerja SMP dengan perubahan kode minimal. Dengan SMP v2, Anda dapat meningkatkan kinerja komputasi dari pelatihan model state-of-the-art besar SageMaker dengan membawa skrip pelatihan PyTorch FSDP Anda. SageMaker

Anda dapat menggunakan SMP v2 untuk pekerjaan SageMaker Pelatihan umum dan beban kerja pelatihan yang didistribusikan pada Amazon SageMaker HyperPod cluster.