Amazon EMR on EKS での Spark 演算子のセットアップ
Spark 演算子を Amazon EKS にインストールする前に、以下のタスクを完了してセットアップを行います。Amazon Web Services (AWS) に既にサインアップしていて、Amazon EKS を既に使用している場合、Amazon EMR on EKS を使用する準備はほぼ整っています。Amazon EKS で Spark 演算子のセットアップを行うには、以下のタスクを完了します。前提条件のいずれかを既に完了している場合は、その前提条件をスキップして、次の前提条件に進むことができます。
-
AWS CLI の最新バージョンのインストールまたは更新 – AWS CLI を既にインストールしている場合は、最新バージョンであることを確認してください。
-
kubectl と eksctl の設定 — eksctl は、Amazon EKS との通信に使用するコマンドラインツールです。
-
Helm のインストール – Kubernetes 用の Helm パッケージマネージャーを使用すると、Kubernetes クラスターにアプリケーションをインストールして管理できます。
-
Amazon EKS – eksctl の使用開始 – Amazon EKS にノードを持つ新しい Kubernetes クラスターを作成する手順に従います。
-
Amazon EMR ベースイメージ URI を選択する (リリース 6.10.0 以降) – Spark 演算子は Amazon EMR リリース 6.10.0 以降でサポートされています。
