使用分布式数据并行库进行 SageMaker分布式训练

SageMaker 分布式数据并行度 (SMDDP) 库旨在便于使用并提供与的无缝集成。 PyTorch

在开启SMDDP库的情况下训练深度学习模型时 SageMaker，您可以专注于编写训练脚本和模型训练。

首先，请导入SMDDP库以使用其经过优化的集体操作 AWS。以下主题根据您要优化的集合操作提供有关在训练脚本中添加哪些内容的说明。