SageMaker 分散モデル並列処理のベストプラクティス

大規模な GPU インスタンスタイプの使用

• モデル並列処理の領域では、複数の GPU にまたがるモデルのパーティション化など、モデル並列処理オペレーションによるオーバーヘッドを処理するために大規模な GPU メモリを持つ強力なインスタンスを使用することをお勧めします。大規模な DL モデルをトレーニングするには、ml.p4d または ml.p3dn インスタンスを使用することをお勧めします。これらのインスタンスには Elastic Fabric Adapter (EFA) も装備されており、ネットワーク帯域幅が向上し、モデルの並列処理による大規模なトレーニングが可能になります。

シャーディングオプティマイザの状態

• シャーディングオプティマイザの状態の影響は、データの並列ランク数によって異なります。通常、データの並列性 (コンピュートノードのサイズに比例する) が高いほど、メモリ使用量の効率が向上します。

  クラスターをダウンサイズする場合は、オプティマイザ状態のシャーディングの構成を確認してください。例えば、オプティマイザー状態のシャーディングを使用した大規模な DL モデルが、16 GPU (2 つの P4d または P4de インスタンスなど) のコンピューティングクラスターに適合する場合でも、8 GPU (単一の P4d または P4de インスタンスなど) を備えたノードに適合するとは限りません。これは、8 GPU の合計メモリが 16 GPU の合計メモリよりも小さく、8 GPU でのシャーディングに必要な GPU ごとのメモリも、16 GPU のシナリオの場合より多く必要なためです。その結果、必要なメモリが増加し、より小さなクラスターには収まらない可能性があります。

  詳細については、「オプティマイザ状態シャーディング」を参照してください。

アクティベーションチェックポイント

• モジュールのグループに対してアクティベーションチェックポイントを使用することにより、メモリ効率を向上させることができます。モジュールをグループ化すればするほど、メモリ使用効率が上がります。レイヤーのシーケンシャルモジュールをチェックポイントする場合、smp.set_activation_checkpointing 関数の strategy の引数は、チェックポイントのためにレイヤーをグループ化します。例えば、チェックポイントのために複数のレイヤーをグループ化すると、一度に 1 つのレイヤーにチェックポイントするよりもメモリ効率が高くなります。これにより、余分な計算時間と引き換えにメモリ使用量を削減できます。

  詳細については、「アクティベーションチェックポイント」を参照してください。

テンソル並列性

• テンソル並列性の度合いは、2 の累乗 (2、4、8、...、2ⁿ) である必要があり、最大度はノードあたりの GPU 数に等しくなければなりません。例えば、8 つの GPU を持つノードを使用する場合、テンソル並列性の度数は 2、4、8 です。テンソル並列性の度合いには、任意の数値 (3、5、6、7 など) を推奨しません。複数のノードを使用する場合、テンソルの並列性の度合いを誤って設定すると、ノード間でテンソル並列処理が実行されることがあります。これにより、ノード間のアクティベーションの通信によりオーバーヘッドが大きく増え、計算コストが高くなる可能性があります。

  詳細については、「テンソル並列処理」を参照してください。

ノード間でのパイプラインの並列処理

• パイプラインの並列処理は、1 つのノード内と複数のノードの両方で実行できます。パイプライン並列処理をテンソル並列処理と組み合わせて使用する場合は、複数のノードにわたってパイプライン並列処理を実行し、個々のノード内でテンソル並列処理を維持することをお勧めします。

• パイプラインの並列処理には、microbatches、active_microbatches、およびprescaled_batch の 3 つのノブがあります。

  • テンソル並列処理をパイプラインの並列処理で使用する場合は、モデル並列グループごとのバッチサイズを増やし効率的なパイプライン処理を行えるよう、prescaled_batch をアクティブにすることをお勧めします。prescaled_batch を有効にすると、トレーニングスクリプトに設定されたバッチサイズは、prescaled_batch を使用しない場合の各ランクのバッチサイズの tp_size 倍になります。

  • microbatches の数を増やすことで、効率的なパイプライン処理とパフォーマンスの向上させることができます。有効なマイクロバッチサイズは、バッチサイズをマイクロバッチ数で割った値であることに注意してください。バッチサイズを一定に保ちながらマイクロバッチの数を増やすと、各マイクロバッチで処理されるサンプルが少なくなります。

  • active_microbatches 数は、パイプライン処理中に同時に処理されるマイクロバッチの最大数です。処理中のアクティブなマイクロバッチごとに、そのアクティベーションとグラデーションが GPU メモリを占有します。したがって、active_microbatches を増やすと、より多くの GPU メモリを消費します。

• GPU と GPU のメモリの両方が十分に利用されていない場合、active_microbatches を増やしてパイプライン処理中の並列化を改善します。

• パイプラインの並列処理でテンソル並列処理を使用する方法の詳細については、「テンソル並列処理とパイプライン並列処理の組み合わせ」を参照してください。

• 前述のパラメータの説明については、SageMaker Python SDK ドキュメントの smdistributed「パラメータ」を参照してください。

アクティベーションを CPU へオフロードする

• アクティベーションのチェックポイントやパイプラインの並列処理と組み合わせて使用します。オフロードとプリロードがバックグラウンドで確実に行われるよう、microbatches パラメータに 1 より大きい値を指定します。

• アクティベーションをオフロードする場合、active_microbatches を増やすことができ、マイクロバッチの総数と一致することもあります。これは、チェックポイントされているモジュールと、モデルのパーティション化方法によって異なります。

  詳細については、「アクティベーションオフロード」を参照してください。

• SageMaker トレーニングスクリプトでモデルparallel ライブラリの機能を使用する前に、確認してください SageMaker 分散モデル並列処理ライブラリの設定のヒントと落とし穴。

• トレーニングジョブをより早く開始するには、SageMaker ローカルモードを使用してください。これにより、 SageMaker ノートブックインスタンス上でトレーニングジョブをローカルにすばやく実行できます。 SageMaker ノートブックインスタンスを実行している ML インスタンスの規模によっては、隠し幅、トランスフォーマーレイヤーの数、アテンションヘッドなどのモデル構成を変更してモデルのサイズを調整する必要がある場合があります。大規模なクラスターを使用してフルモデルのトレーニングを行う前に、縮小モデルがノートブックインスタンスで正常に動作するか検証します。

• FSx for Lustre を使用するには、AmazonFSxFullAccess を追加します。

• Amazon S3 をデータチャネルとして使用するには、AmazonS3FullAccess を追加します。

• Docker を使用するには、独自のコンテナを構築して Amazon ECR にプッシュし、AmazonEC2ContainerRegistryFullAccess を追加します。

• すべての機能を使用するためのフルアクセス権を付与するには、を追加してください。 SageMaker AmazonSageMakerFullAccess