Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Contoh perpustakaan paralelisme SageMaker data Amazon
Halaman ini menyediakan buku catatan Jupyter yang menyajikan contoh penerapan pustaka paralelisme data SageMaker terdistribusi (SMDDP) untuk menjalankan pekerjaan pelatihan terdistribusi. SageMaker
Blog dan Studi Kasus
Blog-blog berikut membahas studi kasus tentang penggunaan perpustakaan SMDDP.
SMDDP v2 blog
-
Aktifkan pelatihan lebih cepat dengan library paralel SageMaker data Amazon
, AWS Machine Learning Blog (05 Desember 2023)
SMDDP v1 blog
-
Bagaimana saya melatih 10TB untuk Difusi Stabil SageMaker di
Sedang (November 29, 2022) -
Jalankan PyTorch Lightning dan PyTorch DDP asli di Amazon SageMaker Training, menampilkan Amazon Search
, AWS Machine Learning Blog (18 Agustus 2022) -
Pelatihan YoloV5 AWS dengan PyTorch dan perpustakaan paralel data SageMaker terdistribusi
, Medium (6 Mei 2022) -
Mempercepat pelatihan EfficientNet model SageMaker dengan PyTorch dan perpustakaan paralel data SageMaker terdistribusi
, Sedang (Maret 21, 2022) -
Percepat EfficientNet pelatihan AWS dengan perpustakaan paralel data SageMaker terdistribusi
, Menuju Ilmu Data (12 Januari 2022) -
Hyundai mengurangi waktu pelatihan model ML untuk model mengemudi otonom menggunakan Amazon SageMaker
, AWS Machine Learning Blog (25 Juni 2021) -
Pelatihan Terdistribusi: Latih BART/T5 untuk Ringkasan menggunakan Transformers dan Amazon, situs web SageMaker
Hugging Face (8 April 2021)
Notebook contoh
Contoh notebook disediakan dalam SageMaker contoh GitHub repositoritraining/distributed_training/pytorch/data_parallel
catatan
Kloning dan jalankan contoh notebook di ID ID berikut SageMaker .
-
SageMaker JupyterLab(tersedia di Studio yang dibuat setelah Desember 2023)
-
SageMaker Editor Kode (tersedia di Studio yang dibuat setelah Desember 2023)
-
Studio Classic (tersedia sebagai aplikasi di Studio yang dibuat setelah Desember 2023)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
Contoh SMDDP v2
Contoh SMDDP v1
-
CNN dengan PyTorch dan perpustakaan SageMaker paralelisme data
-
BERT dengan PyTorch dan perpustakaan paralelisme SageMaker data
-
CNN dengan TensorFlow 2.3.1 dan perpustakaan paralelisme SageMaker data
-
BERT dengan TensorFlow 2.3.1 dan perpustakaan SageMaker paralelisme data
-
HuggingFace Pelatihan Paralel Data TensorFlow Terdistribusi SageMaker
