本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
Amazon SageMaker AI 資料平行處理程式庫範例
此頁面提供 Jupyter 筆記本，其中提供實作 SageMaker AI 分散式資料平行處理 (SMDDP) 程式庫以在 SageMaker AI 上執行分散式訓練任務的範例。
部落格與案例研究
下列部落格討論有關使用 SMDDP程式庫的案例研究。
SMDDP v2 部落格
-
使用機器學習部落格 (2023 年 12 月 5 日） Amazon SageMaker AI 資料平行程式庫實現更快速的訓練
AWS Machine Learning
SMDDP v1 部落格
-
如何訓練 10TB 以穩定擴散 SageMaker
至中 AI (2022 年 11 月 29 日） -
在 Amazon Training 上執行 PyTorch Lightning 和原生 PyTorch DDP SageMaker ，以 Amazon Search
、AWS Machine Learning 部落格為特色 (2022 年 8 月 18 日） -
AWS 使用 PyTorch 和 SageMaker AI 分散式資料平行程式庫YOLOv5進行訓練
，中 (2022 年 5 月 6 日） -
使用 PyTorch 和 SageMaker AI 分散式資料平行程式庫 Medium (2022 年 3 月 21 日），加速 SageMaker AI 模型 EfficientNet 訓練
-
AWS 使用 SageMaker AI 分散式資料平行程式庫 Towards Data Science (2022 年 1 月 12 日），加速 EfficientNet 的訓練
-
現代汽車使用 Amazon SageMaker AI、機器學習部落格 (2021 年 6 月 25 日） 減少自動駕駛模型的 ML 模型訓練時間
AWS Machine Learning -
分散式訓練：使用 Transformer 和 Hugging Face 網站 Amazon SageMaker AI 進行摘要化的訓練 BART/T5
(2021 年 4 月 8 日）
範例筆記本
AI 範例SageMaker GitHub 儲存庫中提供範例training/distributed_training/pytorch/data_parallel。
注意
在下列 SageMaker AI ML 中複製並執行範例筆記本IDEs。
-
SageMaker AI JupyterLab （可在 2023 年 12 月之後建立的 Studio 中使用）
-
SageMaker AI 程式碼編輯器 （可在 2023 年 12 月之後建立的 Studio 中使用）
-
Studio Classic （可在 2023 年 12 月之後建立的 Studio 中作為應用程式使用）
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
SMDDP v2 範例
SMDDP v1 範例
