使用分布式数据并行度库运行 SageMaker 分布式训练

SageMaker 分布式数据并行度 (SMDDP) 库通过提供针对基础设施优化的集体通信操作的实现，扩展了深度学习模型的 SageMaker 训练能力，具有近线性的扩展效率。 AWS

在庞大的训练数据集上训练大型机器学习 (ML) 模型（例如大型语言模型 (LLM) 和扩散模型）时，机器学习从业者使用加速器集群和分布式训练技术来缩短训练时间或解决无法容纳每个 GPU 内存的模型的内存限制。机器学习从业者通常在单个实例上使用多个加速器，然后随着工作负载需求的增加扩展到实例集群。随着集群规模的增加，多个节点之间的通信开销也会增加，从而导致整体计算性能下降。

为了解决此类开销和内存问题，SMDDP 库提供了以下内容。