Amazon SageMaker AI データ並列処理ライブラリの例

このページでは、SageMaker AI 分散データ並列処理 (SMDDP) ライブラリを実装して SageMaker AI で分散トレーニングジョブを実行する例を示す Jupyter Notebook を提供します。

ブログと導入事例

以下のブログでは、SMDDP ライブラリの導入事例について説明しています。

SMDDP v2 ブログ

Amazon SageMaker AI データ並列ライブラリによる高速トレーニングの有効化、 AWS Machine Learning ブログ (2023 年 12 月 5 日）

SMDDP v1 ブログ

SageMaker AI in Medium (210TB をトレーニングした方法
Run PyTorch Lightning and native PyTorch DDP on Amazon SageMaker Training, featuring Amazon Search、AWS Machine Learning ブログ (2022 年 8 月 18 日)
PyTorch と SageMaker AI 分散データ並列ライブラリ AWS を使用したでの YOLOv5 のトレーニング、中 (2022 年 5 月 6 日）
PyTorch と SageMaker AI 分散データ並列ライブラリを使用した SageMaker AI での EfficientNet モデルトレーニングの高速化、中 (2022 年 3 月 21 日）
SageMaker AI 分散データ並列ライブラリ、Towards Data Science (2022 年 1 月 12 日) AWS を使用して、での EfficientNet トレーニングを高速化する
Hyundai は、Amazon SageMaker AI を使用した自動運転モデルの ML モデルのトレーニング時間を短縮、AWS Machine Learningブログ (2021 年 6 月 25 日）
分散トレーニング: トランスフォーマーと Amazon SageMaker AI を使用して要約のための BART/T5 をトレーニングする、Hugging Face ウェブサイト (2021 年 4 月 8 日）

サンプルノートブックの例

サンプルノートブックは、SageMaker AI サンプル GitHub リポジトリで提供されています。サンプルをダウンロードするには、次のコマンドを実行してリポジトリをクローンし、training/distributed_training/pytorch/data_parallel に移動してください。

注記

次の SageMaker AI ML IDEs。

SageMaker AI JupyterLab (2023 年 12 月以降に作成された Studio で利用可能）
SageMaker AI コードエディタ (2023 年 12 月以降に作成された Studio で利用可能）
Studio Classic (2023 年 12 月以降に作成された Studio でアプリケーションとして利用可能)
SageMaker ノートブックインスタンス


git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel

SMDDP v2 のサンプル

SMDDP v1 のサンプル

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

ライブラリを使用した独自の Docker コンテナの作成

設定のヒント