SageMaker HyperPod レシピ - Amazon SageMaker AI

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

SageMaker HyperPod レシピ

Amazon SageMaker HyperPod レシピを使用して、公開されている基盤モデルのトレーニングと微調整を開始します。使用可能なレシピを表示するには、「 recipesSageMaker HyperPod」を参照してください。

レシピは、以下のモデルファミリー用に事前設定されたトレーニング設定です。

レシピは、 内 SageMaker HyperPod または SageMaker トレーニングジョブとして実行できます。 SageMaker HyperPod トレーニングワークフローの実行 end-to-endに役立つフレームワークとして Amazon トレーニングアダプターを使用します。トレーニングアダプターは、NVIDIA NeMoフレームワークNeuronx 分散トレーニングパッケージ上に構築されています。の使用に慣れている場合は NeMo、トレーニングアダプターを使用するプロセスは同じです。トレーニングアダプターはクラスターでレシピを実行します。

SageMaker HyperPod レシピワークフローを示す図。上部の「レシピ」アイコンがHyperPod 「レシピランチャー」ボックスにフィードされます。このボックスは、関連付けられたレシピファイルを持つ 3 つのGPUアイコンを含む「クラスター: Slurm、K8s、...」というラベルの付いた大きなセクションに接続します。クラスターセクションの下部には「トレーニング HyperPod アダプターを使用したトレーニング」というラベルが付けられています。

独自のカスタムレシピを定義して、独自のモデルをトレーニングすることもできます。

次の表は、 が現在サポートしている SageMaker HyperPod事前定義されたレシピと起動スクリプトの概要を示しています。

使用可能なトレーニング前モデル、レシピ、起動スクリプト
モデル サイズ [Sequence] (シーケンス) ノード インスタンス アクセラレーター レシピ スクリプト
Llama3.2 11b 8192 4 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.2 90 b 8192 32 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.2 1b 8192 1 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.2 3b 8192 1 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 70 b 16384 32 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 70 b 16384 64 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 70 b 8192 32 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 70 b 8192 64 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3 70 b 8192 16 ml.trn1.32xlarge AWS TRN link (リンク) link (リンク)
Llama3.1 8b 16384 16 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 8b 16384 32 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 8b 8192 16 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 8b 8192 32 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3 8b 8192 4 ml.trn1.32xlarge AWS TRN link (リンク) link (リンク)
Llama3.1 8b 8192 16 ml.p5.48xlarge Nvidia H100 link (リンク) 該当なし
Mistral 7b 16384 16 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Mistral 7b 16384 32 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Mistral 7b 8192 16 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Mistral 7b 8192 32 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Mixtral 22b 16384 32 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Mixtral 22b 16384 64 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Mixtral 22b 8192 32 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Mixtral 22b 8192 64 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Mixtral 7b 16384 16 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Mixtral 7b 16384 32 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Mixtral 7b 8192 16 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Mixtral 7b 8192 32 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
使用可能な微調整モデル、レシピ、起動スクリプト
モデル [メソッド] サイズ シーケンスの長さ ノード インスタンス アクセラレーター レシピ スクリプト
Llama3.1 QLoRA 405b 131072 2 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 LoRA 405b 16384 6 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 QLoRA 405b 16384 2 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 LoRA 405b 16384 6 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 QLoRA 405b 8192 2 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 SFT 70 b 16384 16 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 LoRA 70 b 16384 2 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 SFT 70 b 8192 10 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 LoRA 70 b 8192 1 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 SFT 8b 16384 1 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 LoRA 8b 16384 1 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 SFT 8b 8192 1 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 LoRA 8b 8192 1 ml.p5.48xlarge Nvidia H100 link (リンク) link (リンク)
Llama3.1 SFT 70 b 8192 32 ml.p4d.24xlarge Nvidia A100 link (リンク) link (リンク)
Llama3.1 LoRA 70 b 8192 20 ml.p4d.24xlarge Nvidia A100 link (リンク) link (リンク)
Llama3.1 SFT 8b 8192 4 ml.p4d.24xlarge Nvidia A100 link (リンク) link (リンク)
Llama3.1 LoRA 8b 8192 1 ml.p4d.24xlarge Nvidia A100 link (リンク) link (リンク)
Llama3 SFT 8b 8192 1 ml.trn1.32xlarge AWS TRN link (リンク) link (リンク)

チュートリアルを開始するには、「」を参照してくださいチュートリアル