设置 Amazon EMR on EKS 的 Flink Kubernetes Operator - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

设置 Amazon EMR on EKS 的 Flink Kubernetes Operator

在 Amazon EKS 上安装 Flink Kubernetes Operator 之前，请执行下述任务来完成设置。如果已注册 Amazon Web Services（AWS）并且一直在使用 Amazon EKS，您基本上就准备好使用 Amazon EMR on EKS 了。完成以下任务，在 Amazon EKS 上设置好 Flink Operator。跳过已完成的先决条件，转到下一个先决条件。

  • 安装或更新到最新版本的 AWS CLI — 如果您已经安装了 AWS CLI，请确认您安装的是最新版本。

  • 设置 kubectl 和 eksctl：eksctl 是用来与 Amazon EKS 通信的命令行工具。

  • Install Helm – Kubernetes 的 Helm 包管理器可帮助您在 Kubernetes 集群上安装和管理应用程序。

  • 开始使用 Amazon EKS - eksctl：按照以下步骤在 Amazon EKS 中创建带有节点的新 Kubernetes 集群。

  • 选择 Amazon EMR 发行版标签（6.13.0 或更高版本）：Amazon EMR 6.13.0 及更高版本支持 Flink Kubernetes Operator。

  • 在 Amazon EKS 集群上启用服务账户的 IAM 角色（IRSA）。

  • 创建任务执行角色。

  • 更新任务执行角色的信任策略。

  • 创建 Operator 执行角色。此为可选步骤。Flink 任务和 Operator 可以使用相同的角色。如果想为 Operator 设置不同的 IAM 角色，可以单独创建一个角色。

  • 更新 Operator 执行角色的信任策略。必须为要用于 Amazon EMR Flink Kubernetes Operator 服务账户的角色显式添加一个信任策略条目。可以按照如下示例格式进行操作：

    {
   "Version": "2012-10-17",
   "Statement": [
       {
           "Effect": "Allow",
           "Principal": {
               "Federated": "arn:aws:iam::ACCOUNT_ID:oidc-provider/OIDC_PROVIDER"
           },
           "Action": "sts:AssumeRoleWithWebIdentity",
           "Condition": {
               "StringLike": {
                   "OIDC_PROVIDER:sub": "system:serviceaccount:NAMESPACE:emr-containers-sa-flink-operator"
               }
           }
       }
   ]
}