このページの改善にご協力ください
本ユーザーガイドの改善にご協力いただけませんか? すべてのページの右側のペインにある GitHub リンクで、このページの編集を選択してください。皆さまにご協力いただくことで、あらゆる人々に使いやすいユーザーガイドになります。
EKS での機械学習の使用を開始するには、まずこれらの規範的なパターンから選択して、EKS クラスターと ML ソフトウェアおよびハードウェアが ML ワークロードの実行を開始できるように準備します。これらのパターンのほとんどは、Data on Amazon EKS
-
これらの手順を実行するには GPU または Neuron インスタンスが必要です。これらのリソースが使用できない場合、クラスターの作成時またはノードの自動スケーリング中にこれらの手順が失敗する可能性があります。
-
Neuron SDK (Tranium および Inferentia ベースのインスタンス) はコストを削減でき、NVIDIA GPU よりも高い可用性を提供します。そのため、ワークロードで許可されている場合は、機械学習ワークロードのために Neutron を使用することを検討することをお勧めします (「Welcome to AWS Neuron
」を参照)。 -
ここでの開始方法エクスペリエンスの一部では、独自の Hugging Face
アカウント経由でデータを取得する必要があります。
使用を開始するには、機械学習ワークロードを実行するインフラストラクチャのセットアップを開始できるように設計された次の複数のパターンの中から選択します。
-
JupyterHub on EKS
: JupyterHub ブループリント を詳しく見ていきます。Time Slicing および MIG の機能、ならびにプロファイルを使用したマルチテナント設定をご紹介します。これは、EKS で大規模な JupyterHub プラットフォームをデプロイする場合に最適です。 -
AWS Neuron および RayServe での大規模言語モデル
: Amazon EKS ならびに AWS Trainium および Inferentia アクセラレーターで大規模言語モデル (LLM) AWS を実行するために AWS Neuron を使用します。推論リクエストを実行するためのプラットフォームをセットアップする手順については、「Serving LLMs with RayServe and vLLM on AWS Neuron 」を参照してください。コンポーネントには次が含まれます: -
深層学習のための AWS Neuron SDK ツールキット
-
AWS Inferentia および Trainium アクセラレーター
-
vLLM - 可変長言語モデル (vLLM
ドキュメントサイトを参照) -
RayServe スケーラブルモデルサービングライブラリ (「Ray Serve: Scalable and Programmable Serving
」のサイトを参照) -
独自の Hugging Face
アカウントを使用する Llama-3 言語モデル。 -
AWS CloudWatch と Neuron Monitor を使用したオブザーバビリティ
-
WebUI を開く
-
-
NVIDIA と Triton の大規模言語モデル
: Amazon EKS と NVIDIA GPU に複数の大規模言語モデル (LLM) をデプロイします。推論リクエストを実行するためのプラットフォームをセットアップする手順については、「Deploying Multiple Large Language Models with NVIDIA Triton Server and vLLM 」を参照してください。コンポーネントには次が含まれます: -
NVIDIA Triton Inference Server (「Triton Inference Server
」の GitHub サイトを参照) -
vLLM - 可変長言語モデル (vLLM
ドキュメントサイトを参照) -
2 つの言語モデル: mistralai/Mistral-7B-Instruct-v0.2 および meta-llama/Llama-2-7b-chat-hf (独自の Hugging Face
アカウントを使用)。
-
ML on EKS の使用を続ける
このページに記載されているブループリントから選択するだけでなく、他にも、必要に応じて ML on EKS ドキュメントを通じて続行する方法があります。例えば、以下のことが可能です。
-
ML on EKS のチュートリアルを試す – EKS で独自の機械学習モデルを構築して実行するための他のエンドツーエンドのチュートリアルを実行します。「EKS に機械学習ワークロードをデプロイするためのチュートリアルを試す」を参照してください。
ML on EKS を使用して作業を改善するには、次を参照してください:
-
ML を準備する – カスタム AMI や GPU 予約などの機能を備えた ML on EKS の準備方法について説明します。「MLクラスターの準備」を参照してください。