翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon での分散トレーニングの開始 SageMaker

次のページでは、Amazon での分散トレーニングの開始に必要なステップについて説明します SageMaker。既に分散トレーニングに慣れている場合は、以下のオプションからお好みの戦略やフレームワークに合わせて 1 つを選択して始めてください。分散型トレーニング全般について知りたい場合は、分散トレーニングの概念 を参照してください。

SageMaker 分散トレーニングライブラリは、 SageMaker トレーニング環境に合わせて最適化されており、分散トレーニングジョブを に適応させ SageMaker、トレーニングの速度とスループットを向上させるのに役立ちます。ライブラリは、データ並列とモデル並列の両方のトレーニング戦略を提供します。ソフトウェアとハードウェアテクノロジーを組み合わせてノード間GPUおよびノード間の通信を改善し、 SageMakerトレーニングスクリプトのコード変更を最小限に抑える組み込みオプションを使用して のトレーニング機能を拡張します。 

始める前に

SageMaker トレーニングは、1 つのインスタンスと複数のインスタンスで分散トレーニングをサポートしているため、任意のサイズのトレーニングを大規模に実行できます。 SageMaker Python TensorFlowでは、 PyTorch や などのフレームワーク推定器クラスを使用することをお勧めします。Python はSDK、さまざまな分散トレーニングオプションを備えたトレーニングジョブランチャーです。推定器オブジェクトを作成すると、オブジェクトは分散トレーニングインフラストラクチャをセットアップし、バックエンドCreateTrainingJobAPIで を実行し、現在のセッションが実行中のリージョンを検索し、 AWS 深層学習フレームワーク、分散トレーニングフレームワーク、EFAドライバーなど、多数のライブラリで事前にパッケージ化された構築済みの深層学習コンテナの 1 つを取得します。ファイルFSxシステムをトレーニングインスタンスにマウントする場合は、VPCサブネットとセキュリティグループ ID を推定器に渡す必要があります。で分散トレーニングジョブを実行する前に SageMaker、基本的なインフラストラクチャ設定に関する以下の一般的なガイダンスをお読みください。

アベイラビリティーゾーンとネットワークバックプレーン

複数のインスタンス (ノードとも呼ばれます) を使用する場合は、インスタンスを接続するネットワーク、トレーニングデータの読み取り方法、およびインスタンス間での情報共有方法を理解することが重要です。例えば、分散データ並列トレーニングジョブを実行する場合、AllReduceオペレーションを実行するためのコンピューティングクラスターのノード間の通信や、Amazon Simple Storage Service または Amazon FSx for Lustre のノードとデータストレージ間のデータ転送など、多くの要因がコンピューティングリソースの最適な使用とトレーニング速度の向上を実現するために重要な役割を果たします。通信オーバーヘッドを減らすには、インスタンス、VPCサブネット、データストレージを同じ および AWS リージョン アベイラビリティーゾーンに設定してください。

GPU より高速なネットワークと高スループットストレージを備えたインスタンス

技術的には、どのインスタンスでも分散トレーニングに使用できます。大規模な言語モデル (LLMs) や拡散モデルなど、ノード間の高速整流を必要とする大規模なモデルをトレーニングするためにマルチノード分散トレーニングジョブを実行する必要がある場合は、 EFAでサポートされている 対応GPUインスタンス SageMakerをお勧めします。特に、 で最もパフォーマンスの高い分散トレーニングジョブを実現するには SageMaker、NVIDIAA100 を搭載した P4d インスタンスと P4de インスタンスGPUsをお勧めします。これらには、高スループット、低レイテンシーのローカルインスタンスストレージ、およびより高速なノード内ネットワークも搭載されています。データストレージには、トレーニングデータセットとモデルチェックポイントを保存するための高いスループットを提供する Amazon FSx for Lustre をお勧めします。

SageMaker 分散データ並列処理 (SMDDP) ライブラリを使用する

このSMDDPライブラリは、 AWS ネットワークインフラストラクチャAllReduceと Amazon SageMaker ML インスタンストポロジに最適化された の実装とAllGather集合的な通信オペレーションにより、ノード間の通信を改善します。SMDDP ライブラリは、分散データ並列 ()、フルシャードデータ並列処理 ()、、Megatron- PyTorchなどの ベースの分散トレーニングパッケージのバックエンドとして使用できます。 PyTorch DDP PyTorch FSDP DeepSpeed DeepSpeed次のコード例は、2 つのml.p4d.24xlargeインスタンスで分散トレーニングジョブを起動するためのPyTorch推定器を設定する方法を示しています。

from sagemaker.pytorch import PyTorch

estimator = PyTorch(
    ...,
    instance_count=2,
    instance_type="ml.p4d.24xlarge",
    # Activate distributed training with SMDDP
    distribution={ "pytorchddp": { "enabled": True } }  # mpirun, activates SMDDP AllReduce OR AllGather
    # distribution={ "torch_distributed": { "enabled": True } }  # torchrun, activates SMDDP AllGather
    # distribution={ "smdistributed": { "dataparallel": { "enabled": True } } }  # mpirun, activates SMDDP AllReduce OR AllGather
)

トレーニングスクリプトを準備し、 で分散データ並列トレーニングジョブを起動する方法については SageMaker、「」を参照してください SageMaker 分散データ並列処理ライブラリによる分散トレーニングの実行。

SageMaker モデル並列処理ライブラリを使用する (SMP）

SageMaker はSMPライブラリを提供し、シャードデータ並列処理、パイプライン処理、テンソル並列処理、オプティマイザステートシャーディングなど、さまざまな分散トレーニング手法をサポートします。SMP ライブラリが提供する機能の詳細については、「」を参照してくださいModel SageMaker Parallelism Library の主な機能。

SageMakerのモデル並列処理ライブラリを使用するには、 SageMaker フレームワーク推定器の distributionパラメータを設定します。サポートされているフレームワーク推定器は PyTorchと ですTensorFlow。次のコード例は、2 つの ml.p4d.24xlarge インスタンスでモデル並列処理ライブラリを使用して分散トレーニング用のフレームワーク推定器を構築する方法を示しています。

from sagemaker.framework import Framework

distribution={
    "smdistributed": {
        "modelparallel": {
            "enabled":True,
            "parameters": {
                ...   # enter parameter key-value pairs here
            }
        },
    },
    "mpi": {
        "enabled" : True,
        ...           # enter parameter key-value pairs here
    }
}

estimator = Framework(
    ...,
    instance_count=2,
    instance_type="ml.p4d.24xlarge",
    distribution=distribution
)

トレーニングスクリプトを適応させ、estimatorクラスでディストリビューションパラメータを設定し、分散トレーニングジョブを起動する方法については、SageMaker「 のモデル並列処理ライブラリ」を参照してください (SageMaker Python SDKドキュメントの「分散トレーニングAPIs」も参照してください）。

オープンソースの分散型トレーニングフレームワークを使用する

SageMaker は、バックエンドtorchrunで mpirunおよび を運用するための以下のオプションもサポートしています。