Helm を使用して Amazon EKSクラスターにパッケージをインストールする - Amazon SageMaker

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Helm を使用して Amazon EKSクラスターにパッケージをインストールする

SageMaker HyperPod クラスターを作成して Amazon EKSクラスターにアタッチする前に、Kubernetes のパッケージマネージャーである Helm を使用してパッケージをインストールする必要があります。Helm は、Kubernetes クラスターのインストールプロセスをセットアップするためのオープンソースツールです。これにより、依存関係のインストールの自動化と合理化が可能になり、 SageMaker HyperPod クラスターのオーケストレーター (コントロールプレーン) として Amazon EKSクラスターを準備するために必要なさまざまなセットアップが簡素化されます。

SageMaker HyperPod サービスチームは、デバイス/EFAプラグイン、キュー、Kubeflow トレーニングオペレーター、関連するアクセス許可設定などの主要な依存関係をバンドルした Helm チャートパッケージを提供します。

重要

この helm インストールステップは必須ステップです。提供された Helm チャートを使用して Amazon EKSクラスターを設定しないと、 SageMaker HyperPod クラスターが正しく機能しなかったり、作成プロセスが完全に失敗したりする可能性があります。aws-hyperpod 名前空間名は変更できません。

  1. ローカルマシンに Helm をインストールします。

  2. リポジトリ の SageMaker HyperPod helm_chart/HyperPodHelmChartにある が提供する Helm SageMaker HyperPod CLI チャートをダウンロードします。

    git clone https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli/helm_chart

  3. Helm チャートの依存関係を更新し、Kubernetes クラスターに加えられる変更をプレビューし、Helm チャートをインストールします。

    helm dependencies update HyperPodHelmChart
    helm install hyperpod-dependencies HyperPodHelmChart --dry-run
    helm install hyperpod-dependencies HyperPodHelmChart

要約すると、Helm インストールは、ジョブのスケジュール設定とキューイング (キューイング）、ストレージ管理、MLflow統合、Kubeflow など、Amazon EKSクラスターのさまざまなコンポーネントを設定します。さらに、このグラフでは、必要なコンポーネントである SageMaker HyperPod クラスター障害耐性機能に統合するために、以下のコンポーネントをインストールします。

  • ヘルスモニタリングエージェント — これにより、 が提供するヘルスモニタリングエージェントがインストールされます SageMaker HyperPod。これは、 HyperPod クラスターをモニタリングする場合に必要です。ヘルスモニタリングエージェントは、次のように Docker イメージとして提供されます。Helm チャートで指定された values.yaml では、イメージはプリセットされています。エージェントは GPUベースのインスタンスと T rainium-accelerator-based インスタンス (trn1、trn1n、) をサポートしますinf2。aws-hyperpod 名前空間にインストールされます。

    590183648699.dkr.ecr.us-west-2.amazonaws.com/hyperpod-health-monitoring-agent:1.0.230.0_1.0.19.0

  • ディープヘルスチェック — SageMaker HyperPod ディープヘルスチェックサービスアカウント、、 ClusterRoleを aws-hyperpod名前空間ClusterRoleBindingに設定します。

  • Kubeflow MPI演算子 – Operator MPIは、Kubernetes クラスターで Message Passing Interface () を使用して、分散Machine Learning (MLHPC) およびハイパフォーマンスコンピューティング (MPI) ワークロードの実行を簡素化する Kubernetes 演算子です。MPI Operator v0.5 がインストールされます。mpi-operator 名前空間にインストールされます。

  • nvidia-device-plugin – これは、Amazon EKSクラスター内のコンテナがNVIDIAGPUs使用できるように自動的に公開できる Kubernetes デバイスプラグインです。これにより、Kubernetes はそのコンテナにリクエストされた にアクセス権を割り当てて提供GPUsできます。でインスタンスタイプを使用する場合に必要ですGPU。

  • neuron-device-plugin – これは、 を自動的に公開できる Kubernetes デバイスプラグインです。 AWS Amazon EKSクラスター内のコンテナが消費する Inferentia チップ。これにより、Kubernetes が にアクセスして利用できるようになります。 AWS クラスターノード上の Inferentia チップ。Neuron インスタンスタイプを使用する場合に必要です。

  • aws-efa-k8s-device-plugin — これは、 の使用を可能にする Kubernetes デバイスプラグインです。 AWS Amazon EKSクラスターの Elastic Fabric Adapter (EFA）。EFA は、クラスター内のインスタンス間で低レイテンシーで高スループットの通信を提供するネットワークデバイスです。EFA サポートされているインスタンスタイプを使用する場合に必要です。

提供された Helm チャートを使用したインストール手順の詳細については、リポジトリ の README ファイル SageMaker HyperPod CLIを参照してください。