Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Fitur Inti dari Perpustakaan Paralelisme SageMaker Model
Pustaka paralelisme model Amazon SageMaker AI menawarkan strategi distribusi dan teknik penghematan memori, seperti paralelisme data sharded, paralelisme tensor, partisi model berdasarkan lapisan untuk penjadwalan pipeline, dan checkpointing. Strategi dan teknik paralelisme model membantu mendistribusikan model besar di beberapa perangkat sambil mengoptimalkan kecepatan pelatihan dan konsumsi memori. Perpustakaan juga menyediakan fungsi pembantu Python, pengelola konteks, dan fungsi pembungkus untuk menyesuaikan skrip pelatihan Anda untuk partisi otomatis atau manual model Anda.
Saat Anda menerapkan paralelisme model untuk pekerjaan pelatihan Anda, Anda mempertahankan alur kerja dua langkah yang sama yang ditunjukkan di bagian Jalankan Pekerjaan Pelatihan Terdistribusi SageMaker dengan Paralelisme Model. Untuk mengadaptasi skrip pelatihan Anda, Anda akan menambahkan nol atau beberapa baris kode tambahan ke skrip pelatihan Anda. Untuk meluncurkan pekerjaan pelatihan skrip pelatihan yang disesuaikan, Anda harus mengatur parameter konfigurasi distribusi untuk mengaktifkan fitur hemat memori atau untuk meneruskan nilai untuk tingkat paralelisme.
Untuk memulai dengan contoh, lihat buku catatan Jupyter berikut yang menunjukkan cara menggunakan pustaka paralelisme SageMaker model.
Untuk menyelami lebih dalam fitur inti perpustakaan, lihat topik berikut.
catatan
Per SageMaker pustakaan pelatihan terdistribusi tersedia melalui wadah pembelajaran AWS mendalam untuk PyTorch, Hugging Face, dan di TensorFlow dalam platform Pel SageMaker atihan. Untuk memanfaatkan fitur-fitur pustaka pelatihan terdistribusi, kami sarankan Anda menggunakan SageMaker Python SDK. Anda juga dapat mengonfigurasi secara manual dalam sintaks permintaan JSON jika Anda menggunakan SageMaker API melalui SDK untuk Python (Boto3) atau. AWS Command Line Interface Sepanjang dokumentasi, instruksi dan contoh fokus pada cara menggunakan pustaka pelatihan terdistribusi dengan SageMaker Python SDK.
penting
P SageMaker ustaka paralelisme model mendukung semua fitur inti untuk PyTorch, dan mendukung paralelisme pipa untuk. TensorFlow
Topik
