翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon SageMaker モデル並列処理ライブラリ v1 の例
このページでは、 SageMaker 分散型トレーニングジョブを実行するモデル並列処理 (SMP) ライブラリ v1 を実装する実際的な例を紹介するブログと Jupyter ノートブックのリストを提供しています。 SageMaker
ブログと導入事例
以下のブログでは、SMP v1 の使用に関するケーススタディについて説明しています。
-
Amazon SageMaker モデル並列処理ライブラリの新しいパフォーマンスの向上
、AWS Machine Learning ブログ (2022 年 12 月 16 日)
サンプルノートブックの例
サンプルノートブックはサンプルリポジトリにあります。SageMaker GitHub training/distributed_training/pytorch/model_parallel
。
注記
次の SageMaker ML IDE でサンプルノートブックを複製して実行します。
-
SageMaker JupyterLab(2023 年 12 月以降に作成された Studio で利用可能)
-
SageMaker コードエディター (2023 年 12 月以降に作成された Studio で利用可能)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel
SMP v1 用ノートブックの例 PyTorch
-
モデル並列処理ライブラリのシャードデータ並列処理手法を使用して、ほぼ線形のスケーリングで GPT-2 を学習させます。 SageMaker
-
モデル並列処理ライブラリのシャーディングデータ並列処理手法を使用して、ほぼ線形のスケーリングで GPT-2 を微調整します。 SageMaker
-
モデル並列処理ライブラリのシャーディングデータ並列処理手法を使用して、ほぼ線形のスケーリングで GPT-Neox-20b を学習させます。 SageMaker
-
モデル並列処理ライブラリのシャーディングデータ並列処理とテンソル並列処理の手法を使用して GPT-J 6B に学習させます。 SageMaker
-
モデル並列処理ライブラリのシャーディングデータ並列処理手法を使用して、ほぼ線形のスケーリングで FLAN-T5 に学習させます。 SageMaker
-
モデル並列処理ライブラリのシャーディングデータ並列処理手法を使用して、ほぼ線形のスケーリングで Falcon を学習させます。 SageMaker
SMP v1 向けのサンプルノートブック TensorFlow