Amazon SageMaker モデル並列処理ライブラリ v1 の例
このページには、SageMaker モデル並列処理 (SMP) ライブラリ v1 を実装して SageMaker で分散トレーニングジョブを実行する方法について、実践的な例を紹介したブログ記事や Jupyter Notebook の一覧を掲載しています。
ブログと導入事例
以下のブログでは、SMP v1 の導入事例について説明しています。
-
New performance improvements in the Amazon SageMaker model parallelism library
、AWS Machine Learning ブログ (2022 年 12 月 16 日) -
Train gigantic models with near-linear scaling using sharded data parallelism on Amazon SageMaker
、AWS Machine Learning ブログ (2022 年 10 月 31 日)
サンプルノートブックの例
サンプルノートブックは、SageMaker サンプル GitHub リポジトリtraining/distributed_training/pytorch/model_parallel に移動してください。
注記
次の SageMaker ML IDE でサンプルノートブックをクローンし、実行してください。
-
SageMaker JupyterLab (2023 年 12 月以降に作成された Studio で利用可能)
-
SageMaker Code Editor (2023 年 12 月以降に作成された Studio で利用可能)
-
Studio Classic (2023 年 12 月以降に作成された Studio でアプリケーションとして利用可能)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel
PyTorch の SMP v1 サンプルノートブック
TensorFlow 用の SMP v1 サンプルノートブック
