Cookie の設定を選択する

当社は、当社のサイトおよびサービスを提供するために必要な必須 Cookie および類似のツールを使用しています。当社は、パフォーマンス Cookie を使用して匿名の統計情報を収集することで、お客様が当社のサイトをどのように利用しているかを把握し、改善に役立てています。必須 Cookie は無効化できませんが、[カスタマイズ] または [拒否] をクリックしてパフォーマンス Cookie を拒否することはできます。

お客様が同意した場合、AWS および承認された第三者は、Cookie を使用して便利なサイト機能を提供したり、お客様の選択を記憶したり、関連する広告を含む関連コンテンツを表示したりします。すべての必須ではない Cookie を受け入れるか拒否するには、[受け入れる] または [拒否] をクリックしてください。より詳細な選択を行うには、[カスタマイズ] をクリックしてください。

ML の使用を開始する

フォーカスモード

このページの内容

ML の使用を開始する - アマゾン EKS

このページの改善にご協力ください

本ユーザーガイドの改善にご協力いただけませんか? すべてのページの右側のペインにある GitHub リンクで、このページの編集を選択してください。皆さまにご協力いただくことで、あらゆる人々に使いやすいユーザーガイドになります。

このページの改善にご協力ください

本ユーザーガイドの改善にご協力いただけませんか? すべてのページの右側のペインにある GitHub リンクで、このページの編集を選択してください。皆さまにご協力いただくことで、あらゆる人々に使いやすいユーザーガイドになります。

EKS での機械学習の使用を開始するには、まずこれらの規範的なパターンから選択して、EKS クラスターと ML ソフトウェアおよびハードウェアが ML ワークロードの実行を開始できるように準備します。これらのパターンのほとんどは、Data on Amazon EKS から入手できる Terraform ブループリントをベースとしています。開始する前に、いくつかの点に留意してください:

  • これらの手順を実行するには GPU または Neuron インスタンスが必要です。これらのリソースが使用できない場合、クラスターの作成時またはノードの自動スケーリング中にこれらの手順が失敗する可能性があります。

  • Neuron SDK (Tranium および Inferentia ベースのインスタンス) はコストを削減でき、NVIDIA GPU よりも高い可用性を提供します。そのため、ワークロードで許可されている場合は、機械学習ワークロードのために Neutron を使用することを検討することをお勧めします (「Welcome to AWS Neuron」を参照)。

  • ここでの開始方法エクスペリエンスの一部では、独自の Hugging Face アカウント経由でデータを取得する必要があります。

使用を開始するには、機械学習ワークロードを実行するインフラストラクチャのセットアップを開始できるように設計された次の複数のパターンの中から選択します。

  • JupyterHub on EKS: JupyterHub ブループリントを詳しく見ていきます。Time Slicing および MIG の機能、ならびにプロファイルを使用したマルチテナント設定をご紹介します。これは、EKS で大規模な JupyterHub プラットフォームをデプロイする場合に最適です。

  • AWS Neuron および RayServe での大規模言語モデル: Amazon EKS ならびに AWS Trainium および Inferentia アクセラレーターで大規模言語モデル (LLM) AWS を実行するために AWS Neuron を使用します。推論リクエストを実行するためのプラットフォームをセットアップする手順については、「Serving LLMs with RayServe and vLLM on AWS Neuron」を参照してください。コンポーネントには次が含まれます:

    • 深層学習のための AWS Neuron SDK ツールキット

    • AWS Inferentia および Trainium アクセラレーター

    • vLLM - 可変長言語モデル (vLLM ドキュメントサイトを参照)

    • RayServe スケーラブルモデルサービングライブラリ (「Ray Serve: Scalable and Programmable Serving」のサイトを参照)

    • 独自の Hugging Face アカウントを使用する Llama-3 言語モデル。

    • AWS CloudWatch と Neuron Monitor を使用したオブザーバビリティ

    • WebUI を開く

  • NVIDIA と Triton の大規模言語モデル: Amazon EKS と NVIDIA GPU に複数の大規模言語モデル (LLM) をデプロイします。推論リクエストを実行するためのプラットフォームをセットアップする手順については、「Deploying Multiple Large Language Models with NVIDIA Triton Server and vLLM」を参照してください。コンポーネントには次が含まれます:

    • NVIDIA Triton Inference Server (「Triton Inference Server」の GitHub サイトを参照)

    • vLLM - 可変長言語モデル (vLLM ドキュメントサイトを参照)

    • 2 つの言語モデル: mistralai/Mistral-7B-Instruct-v0.2 および meta-llama/Llama-2-7b-chat-hf (独自の Hugging Face アカウントを使用)。

ML on EKS の使用を続ける

このページに記載されているブループリントから選択するだけでなく、他にも、必要に応じて ML on EKS ドキュメントを通じて続行する方法があります。例えば、以下のことが可能です。

ML on EKS を使用して作業を改善するには、次を参照してください:

  • ML を準備する – カスタム AMI や GPU 予約などの機能を備えた ML on EKS の準備方法について説明します。「MLクラスターの準備」を参照してください。

プライバシーサイト規約Cookie の設定
© 2025, Amazon Web Services, Inc. or its affiliates.All rights reserved.