Amazon EMR on EKS での Flink Kubernetes オペレータのセットアップ

の最新バージョンをインストールまたは更新する AWS CLI – をすでにインストールしている場合は AWS CLI、最新バージョンがあることを確認します。

kubectl と eksctl の設定 — eksctl は、Amazon EKS との通信に使用するコマンドラインツールです。

Helm のインストール – Kubernetes 用の Helm パッケージマネージャーを使用すると、Kubernetes クラスターにアプリケーションをインストールして管理できます。

Amazon EKS – eksctl の使用開始 – Amazon EKS にノードを持つ新しい Kubernetes クラスターを作成する手順に従います。

Amazon EMR リリースラベルの選択 (リリース 6.13.0 以降) – Flink Kubernetes オペレータは、Amazon EMR リリース 6.13.0 以降でサポートされています。

Amazon EKS クラスターでサービスアカウント (IRSA) の IAM ロールを有効にします。

ジョブ実行ロールを作成します。

ジョブ実行ロールの信頼ポリシーを更新する。

オペレータ実行ロールを作成します。この手順はオプションです。Flink ジョブとオペレータに同じロールを使用できます。オペレータに異なる IAM ロールを使用する場合は、別のロールを作成できます。

オペレータ実行ロールの信頼ポリシーを更新します。Amazon EMR Flink Kubernetes オペレータサービスアカウントにロールを使用する場合は、そのロールの信頼ポリシーエントリを 1 つ明示的に追加する必要があります。次の例に示した形式に従うことができます。

{
   "Version": "2012-10-17",
   "Statement": [
       {
           "Effect": "Allow",
           "Principal": {
               "Federated": "arn:aws:iam::ACCOUNT_ID:oidc-provider/OIDC_PROVIDER"
           },
           "Action": "sts:AssumeRoleWithWebIdentity",
           "Condition": {
               "StringLike": {
                   "OIDC_PROVIDER:sub": "system:serviceaccount:NAMESPACE:emr-containers-sa-flink-operator"
               }
           }
       }
   ]
}