SageMaker モデル並列処理ライブラリのリリースノート

SageMaker HyperPod レシピ のサポートが追加されました。

PyTorch v2.4.1 および CUDA v12.1 に対応した SMP Docker コンテナ

658645717510.dkr.ecr.<us-west-2>.smdistributed-modelparallel:2.4.1-gpu-py311-cu121

CUDA v12.1 を使用した PyTorch v2.4.1 用の SMP Enroot コンテナ

https://sagemaker-distributed-model-parallel.s3.<us-west-2>.amazonaws.com/enroot/2.4.1-gpu-py311-cu121.sqsh

インストール済みのパッケージ

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

SMP v2.6.0 で古いトレーニングスクリプトを使用する場合に発生するImportError問題を修正しました。これにより、SMP v2.6.0 との下位互換性が修正されます。

DeprecationWarning の を追加しましたtorch.sagemaker.distributed.fsdp.checkpoint。このモジュールは SMP v2.7.0 で廃止および削除されます。コードtorch.sagemaker.distributed.fsdp.checkpointで現在 を使用している場合は、今後の問題を避けるため、SMP v2.7.0 のリリース前にスクリプトを更新する必要があります。

SMP v2.6.0 で特定された下位互換性の問題を修正しました。この問題は、SMP v2.6.0 でのUSE_PG_WITH_UTILチェックポイントメソッドの非推奨化に関連しており、以前のバージョンのトレーニングスクリプトとの下位互換性が損なわれました。この問題を解決するには、PyTorch トレーニングジョブを再実行して、SMP v2.6.1 にパッケージ化された最新の SMP コンテナを取得します。

PyTorch v2.4.1 および CUDA v12.1 に対応した SMP Docker コンテナ

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

インストール済みのパッケージ

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

次の LLM モデル構成がサポートされるようになりました。コンテキスト並列処理 および テンソル並列性 を使用できるようになりました。

次の Mixtral モデル構成で テンソル並列性 がサポートされるようになりました。

AllGather 集合通信を活用してキーと値のテンソルの完全なシーケンスを取得する、AllGather ベースのコンテキスト並列処理の実装がサポートされるようになりました。使用可能な実装は p2p と all_gather です。p2p 実装では、アテンションの計算中にピアツーピアの送受信呼び出しを使用してキーと値 (KV) のテンソルを蓄積します。非同期的に実行され、通信と計算をオーバーラップさせることができます。一方の all_gather 実装は、KV テンソルの蓄積に AllGather 集合通信演算を使用します。これらのコンテキスト並列処理の実装を適用する方法については、「コンテキスト並列処理」を参照してください。

Rotary Position Embedding (RoPE) のシータ値を調整できるようになりました。

パラメータ遅延が有効になっている場合に、Rotary Position Embedding (RoPE) が事前トレーニング中に適切に初期化されないバグを修正しました。

Transformer Engine は現在、スライディングウィンドウのアテンションが有効になっている場合は、コンテキスト並列処理や FP8 をサポートしていません。そのため、Mistral トランスフォーマーの SMP バージョンは、スライディングウィンドウ設定が非 NULL 値に設定されている場合、コンテキスト並列処理や FP8 トレーニングをサポートしません。

PyTorch を v2.4.1 にアップグレードしました。

Megatron を v0.8.0 にアップグレードしました。

TransformerEngine ライブラリを v1.10 にアップグレードしました。

Transformers を v4.44.2 にアップグレードしました。

cuDNN を v9.4.0.58 にアップグレードしました。

PyTorch v2.4.1 および CUDA v12.1 に対応した SMP Docker コンテナ

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

インストール済みのパッケージ

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Mixtral モデルにおいて、P5 インスタンスで FP8 データ形式を使用した混合精度トレーニングがサポートされるようになりました。

次のモデル構成で コンテキスト並列処理 がサポートされるようになりました。

チェックポイントの非同期保存に対応しました。詳細については、「SMP を使用したチェックポイント」を参照してください。

Llama のファインチューニング中に、事前トレーニング済みのモデルチェックポイントをロードしてテンソル並列処理を利用すると、予期しない高い初期損失が発生する問題が解決されました。

Mixtral に対して FP8 混合精度でアクティベーションチェックポイントを使用するには、アテンション層とエキスパート層を個別にチェックポイントする必要があります。正しく設定する例については、Amazon SageMaker AI Examples リポジトリのトレーニングスクリプトの例を参照してください。

MoE 構成 (torch.sagemaker.moe.moe_config.MoEConfig) の均衡 (balanced) 負荷分散タイプは、現時点では、アクティベーションチェックポイントとの互換性がありません。

コンテキスト並列処理を使用すると、GPT-NeoX では、事前トレーニングとファインチューニングの両方でパフォーマンスが低下します。

P4 インスタンスの GPT-NeoX では、パラメータが遅延初期化されている変換済みモデルから Hugging Face トランスフォーマーモデルに重みを直接ロードすると、最初のステップで損失の不一致が生じます。

FlashAttention ライブラリを v2.5.8 にアップグレードしました。

Transformer Engine ライブラリを v1.8 にアップグレードしました。

PyTorch v2.3.1 および CUDA v12.1 に対応した SMP Docker コンテナ

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

サポートされているリージョンの詳細なリストについては、「AWS リージョン」を参照してください。

インストール済みのパッケージ

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

SMP Transformer の使用中に、ラベルがフォワードパス (順伝播) で渡されない場合に不正なロジット形状が生成されるバグを修正しました。

PyTorch v2.3.1 のサポートが追加されました。

Python v3.11 のサポートが追加されました。

Hugging Face Transformers ライブラリ v4.40.1 のサポートが追加されました。

Python v3.10 のサポートを終了しました。

Hugging Face Transformers ライブラリの v4.40.1 より前のバージョンのサポートを終了しました。

異なるランクで重複排除されたテンソルを保存するかどうかを切り替えるためのパッチを追加しました。詳細については、PyTorch GitHub リポジトリのディスカッションスレッドを参照してください。

テンソル並列処理を用いて Llama-3 70B をファインチューニングする間に、損失が急増し、その後、より高い損失値で再開する可能性があるという既知の問題があります。

SMDDP ライブラリを v2.3.0 にアップグレードしました。

NCCL ライブラリを v2.21.5 にアップグレードしました。

EFA ソフトウェアを v1.32.0 にアップグレードしました。

Torch Distributed Experimental (torchdistX) ライブラリのインストールを終了しました。

PyTorch v2.3.1 および CUDA v12.1 に対応した SMP Docker コンテナ

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

インストール済みのパッケージ

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

エキスパート並列処理で torch.sagemaker.moe.moe_config.MoEConfig に moe_load_balancing=balanced を使用した場合の ImportError を修正しました。

load_state_dict_from_rank0 が有効な状態で torch.sagemaker.transform を呼び出すと KeyError が発生する、ファインチューニングの問題を修正しました。

大規模な Mixture of Experts (MoE) モデル (Mixtral 8x22B など) をファインチューニングのためにロードするとメモリ不足 (OOM) エラーが発生していましたが、このエラーを修正しました。

PyTorch v2.2.0 および CUDA v12.1 に対応した SMP Docker コンテナ

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

新しい主要機能としてエキスパート並列処理が追加され、Mixture of Experts トランスフォーマーモデルに対応しました。詳細については、「エキスパート並列処理」を参照してください。

PyTorch v2.2.0 および CUDA v12.1 に対応した SMP Docker コンテナ

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Transformer Engine の統合により、以下の Hugging Face トランスフォーマーモデルが P5 インスタンスで FP8 トレーニングに対応しました。

テンソル並列処理トレーニング中に、AllGather 集合呼び出しの前にテンソルの連続性が保証されないバグを修正しました。

PyTorch v2.2.0 のサポートが追加されました。

SMDDP ライブラリを v2.2.0 にアップグレードしました。

FlashAttention ライブラリを v2.3.3 にアップグレードしました。

NCCL ライブラリを v2.19.4 にアップグレードしました。

Transformer Engine の v1.2.0 より前のバージョンのサポートを終了しました。

SMP アクティベーションオフロード 機能は、現在機能していません。代わりに、ネイティブの PyTorch アクティベーションオフロードを使用してください。

PyTorch GitHub リポジトリの https://github.com/pytorch/pytorch/issues/117748 の問題スレッドで言及されているパフォーマンスの低下を修正するためのパッチを追加しました。

PyTorch v2.2.0 および CUDA v12.1 に対応した SMP Docker コンテナ

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

PyTorch v2.1.2 のサポートが追加されました。

Hugging Face Transformers v4.31.0 のサポートを終了しました。

attn_implementation=flash_attention_2 と FSDP を使用して Hugging Face Llama 2 モデルをファインチューニングすると、モデルが収束しない問題が検出されました。詳細については、Hugging Face Transformers GitHub リポジトリの問題チケットを参照してください。収束しない問題を回避するには、attn_implementation=sdpa を使用してください。または、use_smp_implementation=True を設定して、SMP トランスフォーマーモデルの実装を使用してください。

PyTorch v2.1.2 および CUDA v12.1 に対応した SMP Docker コンテナ

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

新しい smdistributed.modelparallel.torch パッケージ。SMP v1.x の以前の torch.sagemaker パッケージを全面的に刷新しました。

PyTorch 2.0.1 に対応しました。

PyTorch FSDP に対応しました。

Transformer Engine ライブラリを統合し、テンソル並列処理を実装しました。

SageMaker トレーニングと SageMaker HyperPod の両方に対応しました。

SMP v2 は API を全面的に刷新し、torch.sagemaker パッケージを提供します。ほとんどの場合、torch.sagemaker.init() モジュールで初期化し、モデル並列処理の設定パラメータを渡すだけで済みます。この新しいパッケージを使用すれば、トレーニングスクリプトのコード変更を大幅に簡素化できます。SMP v2 を使用するようにトレーニングスクリプトを適応させる方法について詳しくは、「SageMaker モデル並列処理ライブラリ v2 を使用する」を参照してください。

Hugging Face Transformer モデルのトレーニングにこれまで SMP v1 を使用していて、そのモデルを SMP v2 で再利用する場合は、「SMP v1 から SMP v2 へのアップグレード」を参照してください。

PyTorch FSDP トレーニングでは、SMP v2 を使用する必要があります。

アクティベーションチェックポイントは、現在、FSDP で次のラッピングポリシーを使用する場合にのみ機能します。

アクティベーションオフロード を使用するには、FSDP アクティベーションチェックポイントタイプが REENTRANT である必要があります。

テンソル並列処理を有効にし、シャーディングデータ並列度を 1 に設定して実行する場合は、backend = nccl を使用する必要があります。このシナリオでは、smddp バックエンドオプションはサポートされていません。

テンソル並列処理を使用しない場合でも、SMP ライブラリで PyTorch を使用するには、Transformer Engine が必要です。

このリリース以降、SageMaker モデル並列処理ライブラリのドキュメントは、この Amazon SageMaker AI デベロッパーガイドで完全に入手できます。Amazon SageMaker AI デベロッパーガイド」の「SMP v2 の完全なデベロッパーガイド」を優先して、SageMaker Python SDK ドキュメントの「SMP v1.x の追加リファレンス」は廃止されました。SMP v1.x 向けのドキュメントが引き続き必要な場合は、SMP v1.x 用のデベロッパーガイドを (アーカイブ済み) SageMaker モデル並列処理ライブラリ v1.x で入手できます。SMP Python ライブラリ v1.x のリファレンスは、SageMaker Python SDK v2.199.0 のドキュメントに記載されています。

TensorFlow のサポートを終了しました。

SMP v2 では、パイプライン並列処理はサポートされていません。

DeepSpeed ライブラリのサポートは終了しました。代わりに、ネイティブの PyTorch FSDP を使用してください。

PyTorch v2.0.1 および CUDA v12.1 に対応した SMP Docker コンテナ

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121