翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon SageMaker データ並列処理ライブラリの例
このページでは、 SageMaker分散型トレーニングジョブを実行する分散データ並列処理 (SMDDP) ライブラリの実装例を紹介する Jupyter ノートブックを紹介します。 SageMaker
ブログと導入事例
以下のブログでは、SMDDP ライブラリの使用に関するケーススタディについて説明しています。
SMDDP v2 に関するブログ
-
Amazon SageMaker データparallel ライブラリでより迅速なトレーニングを実現
、AWS Machine Learning ブログ (2023 年 12 月 5 日)
SMDDP v1 ブログ
-
Amazon Search、AWS Machine PyTorch Learning SageMaker ブログを特集したアマゾントレーニングで Lightning とネイティブ PyTorch DDP を実行
(2022 年 8 月 18 日) -
SageMaker 分散データparallel ライブラリ Medium AWS PyTorch によるYOLOv5のトレーニング
(2022年5月6日) -
SageMaker 分散データparallel ライブラリ Medium EfficientNet SageMaker PyTorch によるモデルトレーニングの高速化
(2022年3月21日) -
SageMaker 分散データparallel ライブラリ「データサイエンスに向けて」 EfficientNet AWS でトレーニングをスピードアップ
(2022年1月12日) -
現代、AWS Amazonを活用して自動運転モデルの機械学習モデルのトレーニング時間を短縮 SageMaker
、Machine Learning ブログ(2021年6月25日) -
分散型トレーニング:Hugging Face スのウェブサイト「トランスフォーマーとAmazon SageMaker 活用した要約のためのBART/T5のトレーニング
」(2021年4月8日)
サンプルノートブックの例
サンプルノートブックはサンプルリポジトリにあります。SageMaker GitHub training/distributed_training/pytorch/data_parallel
。
注記
次の SageMaker ML IDE でサンプルノートブックを複製して実行します。
-
SageMaker JupyterLab(2023 年 12 月以降に作成された Studio で利用可能)
-
SageMaker コードエディター (2023 年 12 月以降に作成された Studio で利用可能)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
SMDDP v2 のサンプル
SMDDP v1 の例