SageMaker モデル並列処理ライブラリのリリースノート

Mixtral モデルの P5 インスタンスFP8のデータ形式を使用した混合精度トレーニングのサポートを追加しました。

次のモデル設定コンテキスト並列処理のサポートが追加されました。

チェックポイントの非同期保存のサポートを追加しました。詳細については、「を使用したチェックポイント SMP」を参照してください。

事前トレーニング済みモデルチェックポイントをロードし、テンソル並列処理を利用するときに、Llama の微調整中に予期しない高い初期損失が発生する問題を解決しました。

Mixtral にアクティベーションチェックポイントをFP8混合精度で使用するには、注意層とエキスパートレイヤーを個別にチェックポイントする必要があります。正しく設定する例については、Amazon SageMaker Examples リポジトリの「トレーニングスクリプトの例」を参照してください。

MoE 設定 (torch.sagemaker.moe.moe_config.MoEConfig) のバランスの取れた負荷分散タイプは現在、アクティベーションチェックポイントと互換性がありません。

コンテキスト並列処理では、GPT-NeoX はトレーニング前と微調整の両方でパフォーマンスの回帰を示します。

GPT-NeoX on P4 インスタンスの場合、遅延パラメータで初期化された変換済みモデルから Hugging Face トランスフォーマーモデルに重みを直接ロードすると、最初のステップで損失の不一致が発生します。

FlashAttention ライブラリを v2.5.8 にアップグレードしました

Transformer Engine ライブラリを v1.8 にアップグレードしました

SMP PyTorch v2.3.1 と v12.1 CUDA の Docker コンテナ

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

サポートされているリージョンの詳細なリストについては、「AWS リージョン」を参照してください。

プリインストールされたパッケージ

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

SMP Transformer の使用中にラベルがフォワードパスで渡されない場合に、誤ったロジット形状を引き起こすバグを修正しました。

PyTorch v2.3.1 のサポートを追加しました。

Python v3.11 のサポートを追加しました。

Hugging Face Transformers ライブラリ v4.40.1 のサポートが追加されました。

Python v3.10 のサポートを中止しました。

v4.40.1 より前の Hugging Face Transformers ライブラリバージョンのサポートが中止されました。

重複排除されたテンソルを異なるランクに保存するよう切り替えるパッチを追加しました。詳細については、 PyTorch GitHub リポジトリのディスカッションスレッドを参照してください。

テンソル並列処理で Llama-3 70B を微調整しながら、損失が急増し、より高い損失値で再開される可能性があるという既知の問題があります。

SMDDP ライブラリを v2.3.0 にアップグレードしました。

NCCL ライブラリを v2.21.5 にアップグレードしました。

EFA ソフトウェアを v1.32.0 にアップグレードしました。

Torch Distributed Experimental (torchdistX) ライブラリのインストールを中止しました。

SMP PyTorch v2.3.1 と v12.1 CUDA の Docker コンテナ

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

プリインストールされたパッケージ

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

エキスパート並列処理torch.sagemaker.moe.moe_config.MoEConfigに moe_load_balancing=balanced を使用するときにImportError発生する問題を修正しました。

load_state_dict_from_rank0 が有効なKeyErrorときにtorch.sagemaker.transform呼び出しが提起される微調整の問題を修正しました。

Mixtral 8x22B などの大規模な Mixture of Experts (MoE ) モデルを微調整するためにロードするときに発生する (OOM) エラーを修正 out-of-memoryしました。

SMP PyTorch v2.2.0 と v12.1 CUDA の Docker コンテナ

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Mixture of Experts トランスフォーマーモデルをサポートするために、新しいコア機能であるエキスパート並列処理 が追加されました。詳細については、「エキスパート並列処理」を参照してください。

SMP PyTorch v2.2.0 と v12.1 CUDA の Docker コンテナ

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Transformer Engine 統合による P5 インスタンスでの以下の Hugging Face トランスフォーマーモデルのFP8トレーニングのサポートを追加しました。

テンソル並列処理トレーニング中にAllGather、集合呼び出しの前にテンソルが連続していることが保証されないバグを修正しました。

PyTorch v2.2.0 のサポートを追加しました。

SMDDP ライブラリを v2.2.0 にアップグレードしました。

FlashAttention ライブラリを v2.3.3 にアップグレードしました。

NCCL ライブラリを v2.19.4 にアップグレードしました。

v1.2.0 より前の Transformer Engine バージョンのサポートが中止されました。

この機能はSMPアクティベーションオフロード現在動作しません。代わりにネイティブ PyTorch アクティベーションオフロードを使用します。

GitHub リポジトリの https://github.com/pytorch/pytorch/issues/117748 の問題スレッドで説明されているパフォーマンス回帰を修正するためのパッチを追加しました PyTorch。

SMP PyTorch v2.2.0 と v12.1 CUDA の Docker コンテナ

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

PyTorch v2.1.2 のサポートを追加しました。

Hugging Face Transformers v4.31.0 のサポートを中止しました。

Hugging Face Llama 2 モデルを attn_implementation=flash_attention_2と で微調整FSDPすると、モデルが分岐する問題が発見されました。詳細については、Hugging Face Transformers GitHub リポジトリの「問題チケット」を参照してください。相違の問題を回避するには、 を使用しますattn_implementation=sdpa。または、 を設定してSMPトランスフォーマーモデルの実装を使用しますuse_smp_implementation=True。

SMP PyTorch v2.1.2 と v12.1 CUDA の Docker コンテナ

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

SMP v1.x の以前のtorch.sagemakerパッケージから完全に改訂された新しいsmdistributed.modelparallel.torchパッケージ。

PyTorch 2.0.1 のサポート。

のサポート PyTorch FSDP。

Transformer Engine ライブラリと統合してテンソル並列処理を実装します。

SageMaker トレーニングと の両方をサポートしますSageMaker HyperPod。

SMP v2 は APIs全体を更新し、 torch.sagemakerパッケージを提供します。ほとんどの場合、 torch.sagemaker.init()モジュールで初期化し、モデル並列設定パラメータを渡すだけで済みます。この新しいパッケージを使用すると、トレーニングスクリプトのコード変更を大幅に簡素化できます。v2 を使用するようにトレーニングスクリプトを適応させる方法の詳細については、SMP「」を参照してください SageMaker モデル並列処理ライブラリ v2 を使用する。

Hugging Face Transformer SMP モデルのトレーニングに v1 を使用していて、v2 SMP でモデルを再利用する場合は、「」を参照してくださいv1 SMP から v2 SMP へのアップグレード。

PyTorch FSDP トレーニングには v2 SMP を使用する必要があります。

現在、アクティベーションチェックポイントは、 で次のラッピングポリシーでのみ機能しますFSDP。

を使用するにはアクティベーションオフロード、FSDPアクティベーションチェックポイントタイプが である必要がありますREENTRANT。

シャードデータ並列度を に設定してテンソル並列を有効にして実行する場合は1、 を使用する必要がありますbackend = nccl。このシナリオでは、smddpバックエンドオプションはサポートされていません。

Transformer Engine は、テンソル並列処理を使用していない場合でも、SMPライブラリ PyTorch で使用する必要があります。

このリリース以降、 SageMaker モデル並列処理ライブラリのドキュメントは、この Amazon SageMaker デベロッパーガイド で完全に入手できます。Amazon デベロッパーガイド の SMP v2 用のこの完全なデベ SageMaker ロッパーガイドを優先して、SageMaker Python SDKドキュメントの SMP v1.x の追加リファレンスは廃止されました。SMP v1.x のドキュメントがまだ必要な場合は、v1.x SMP の開発者ガイドは (アーカイブ済み) SageMaker モデル並列処理ライブラリ v1.xで入手できます。Python SMP ライブラリ v1.x リファレンスは SageMaker Python SDK v2.199.0 ドキュメント で入手できます。

のサポートが中止されました TensorFlow。

v2 SMP ではパイプライン並列処理のサポートはありません。

ネイティブ PyTorch に有利な DeepSpeed ライブラリのサポートはありませんFSDP。

SMP PyTorch v2.0.1 と v12.1 CUDA の Docker コンテナ

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121