本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon SageMaker AI 数据并行库示例
本页提供了 Jupyter 笔记本,这些笔记本提供了实现 SageMaker 人工智能分布式数据并行度 (SMDDP) 库以在 AI 上运行分布式训练作业的示例。 SageMaker
博客和案例研究
以下博客讨论了有关使用该SMDDP库的案例研究。
SMDDPv2 博客
-
使用亚马逊 A SageMaker I 数据并行库实现更快的训练
,M AWS achine Learning 博客(2023 年 12 月 5 日)
SMDDPv1 博客
-
我是如何在 SageMaker AI 中训练稳定扩散的 10TB
的(2022 年 11 月 29 日) -
在 Amazon T SageMaker raining PyTorch DDP 上运行 L PyTorch ightning 和 native,其中包括亚马逊搜索
、M AWS achine Learning 博客(2022 年 8 月 18 日) -
AWS 使用 PyTorch SageMaker 人工智能分布式数据并行库进行训练 YOLOv5
,中等(2022 年 5 月 6 日) -
使用 SageMaker PyTorch 人工智能分布式数据并行库(中)加快 SageMaker 人工智能 EfficientNet 模型训练
(2022 年 3 月 21 日) -
AWS 使用 SageMaker AI 分布式数据并行库《迈向数据科学》加快 EfficientNet 训练速度
(2022 年 1 月 12 日) -
现代汽车使用亚马逊 A SageMaker I 缩短自动驾驶模型的AWS 机器学习模型训练时间,M
achine Learning Blog(2021 年 6 月 25 日) -
分布式训练:使用《变形金刚》和 Amazon A SageMaker I 训练 BART /T5 进行总结
,Hugging Face 网站(2021 年 4 月 8 日)
示例笔记本
SageMaker AI 示例 GitHub 存储库中提供了示例training/distributed_training/pytorch/data_parallel
。
注意
克隆并运行以下 SageMaker AI ML 中的示例笔记本IDEs。
-
SageMaker 人工智能 JupyterLab(在 2023 年 12 月之后创建的工作室中可用)
-
SageMaker AI 代码编辑器(在 2023 年 12 月之后创建的 Studio 中可用)
-
Studio Classic(可作为 2023 年 12 月之后创建的 Studio 中的应用程序使用)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
SMDDPv2 示例
SMDDPv1 示例