SageMaker モデル並列処理ライブラリ v2 の主要機能

Amazon SageMaker AI モデル並列処理ライブラリ v2 (SMP v2) は、シャーディングデータ並列処理、テンソル並列処理、チェックポイント処理などの分散戦略とメモリ節約手法を提供します。SMP v2 によるモデル並列処理の戦略と手法は、大規模なモデルを複数のデバイスに分散させるのに役立ち、それと同時にトレーニング速度とメモリ消費も最適化できます。SMP v2 には、torch.sagemaker という Python パッケージも用意されているので、トレーニングスクリプトを数行のコード変更だけで適応させることができます。

このガイドでは、「SageMaker モデル並列処理ライブラリ v2 を使用する」で紹介している基本的な 2 ステップのフローに沿って説明します。SMP v2 の主要機能とその使用方法の詳細については、以下のトピックを参照してください。