Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Contoh perpustakaan paralelisme data Amazon SageMaker AI
Halaman ini menyediakan buku catatan Jupyter yang menyajikan contoh penerapan perpustakaan SageMaker AI distributed data parallelism (SMDDP) untuk menjalankan pekerjaan pelatihan terdistribusi tentang AI. SageMaker
Blog dan Studi Kasus
Blog-blog berikut membahas studi kasus tentang penggunaan perpustakaan SMDDP.
SMDDP v2 blog
-
Aktifkan pelatihan lebih cepat dengan library paralel data Amazon SageMaker AI
, AWS Machine Learning Blog (05 Desember 2023)
SMDDP v1 blog
-
Bagaimana saya melatih 10TB untuk Difusi Stabil pada SageMaker AI
dalam Medium (29 November 2022) -
Jalankan PyTorch Lightning dan PyTorch DDP asli di Amazon SageMaker Training, menampilkan Amazon Search
, AWS Machine Learning Blog (18 Agustus 2022) -
Pelatihan YOLOv5 AWS dengan PyTorch dan perpustakaan paralel data terdistribusi SageMaker AI
, Medium (6 Mei 2022) -
Percepat pelatihan EfficientNet model SageMaker AI dengan PyTorch dan perpustakaan paralel data terdistribusi SageMaker AI
, Medium (21 Maret 2022) -
Percepat EfficientNet pelatihan AWS dengan perpustakaan paralel data terdistribusi SageMaker AI
, Menuju Ilmu Data (12 Januari 2022) -
Hyundai mengurangi waktu pelatihan model ML untuk model mengemudi otonom menggunakan Amazon SageMaker AI
, AWS Machine Learning Blog (25 Juni 2021) -
Pelatihan Terdistribusi: Latih BART/T5 untuk Ringkasan menggunakan Transformers dan Amazon AI, situs web SageMaker
Hugging Face (8 April 2021)
Notebook contoh
Contoh notebook disediakan di GitHub repositori contoh SageMaker AItraining/distributed_training/pytorch/data_parallel
catatan
Kloning dan jalankan contoh notebook di SageMaker AI ML berikut. IDEs
-
SageMaker AI JupyterLab (tersedia di Studio yang dibuat setelah Desember 2023)
-
SageMaker Editor Kode AI (tersedia di Studio yang dibuat setelah Desember 2023)
-
Studio Classic (tersedia sebagai aplikasi di Studio yang dibuat setelah Desember 2023)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
Contoh SMDDP v2
Contoh SMDDP v1
-
CNN dengan PyTorch dan perpustakaan SageMaker paralelisme data AI
-
BERT dengan PyTorch dan perpustakaan paralelisme data SageMaker AI
-
CNN dengan TensorFlow 2.3.1 dan perpustakaan SageMaker paralelisme data AI
-
BERT dengan TensorFlow 2.3.1 dan perpustakaan paralelisme data SageMaker AI
-
HuggingFace Pelatihan Paralel Data Terdistribusi TensorFlow di SageMaker AI
