EMR在上啟用 Amazon 的叢集存取 EKS

使用存取項目啟用叢集EKS存取 (建議)

注意

aws-auth ConfigMap 已棄用。管理 Kubernetes 存取權的建議方法APIs是存取項目。

Amazon EMR 與 Amazon EKS 叢集存取管理 (CAM) 整合，因此您可以自動設定必要的 AuthN 和 AuthZ 政策，以便在 Amazon 叢集的命名空間中執行 Amazon EMR Spark 任務。EKS當您從 Amazon 叢集命名空間建立虛擬EKS叢集時，Amazon EMR 會自動設定所有必要的許可，因此您無需在目前的工作流程中新增任何額外步驟。

注意

Amazon 與 Amazon 的集EMR成EKSCAM僅支持EKS虛擬集群EMR上的新 Amazon。您無法移轉現有的虛擬叢集以使用此整合。

必要條件

請確定您執行的是 2.15.3 或更高版本的 AWS CLI
您的 Amazon EKS 群集必須是 1.23 或更高版本。

設定

要設置 Amazon EMR 和來自 Amazon 的 AccessEntry API操作之間的集成EKS，請確保您已完成以下項目：

請確定您authenticationMode的 Amazon EKS 叢集已設定為API_AND_CONFIG_MAP。
```
aws eks describe-cluster --name <eks-cluster-name>
```
如果尚未設定，請authenticationMode將設定為API_AND_CONFIG_MAP。
```
aws eks update-cluster-config 
    --name <eks-cluster-name> 
    --access-config authenticationMode=API_AND_CONFIG_MAP
```
如需有關驗證模式的詳細資訊，請參閱叢集驗證模式。

請確定您用來執行CreateVirtualCluster和DeleteVirtualClusterAPI作業的IAM角色也具有下列權限：


{
  "Effect": "Allow",
  "Action": [
    "eks:CreateAccessEntry"
  ],
  "Resource": "arn:<AWS_PARTITION>:eks:<AWS_REGION>:<AWS_ACCOUNT_ID>:cluster/<EKS_CLUSTER_NAME>"
}, 
{
  "Effect": "Allow",
  "Action": [
    "eks:DescribeAccessEntry",
    "eks:DeleteAccessEntry",
    "eks:ListAssociatedAccessPolicies",
    "eks:AssociateAccessPolicy",
    "eks:DisassociateAccessPolicy"
  ],
  "Resource": "arn:<AWS_PARTITION>:eks:<AWS_REGION>:<AWS_ACCOUNT_ID>:access-entry/<EKS_CLUSTER_NAME>/role/<AWS_ACCOUNT_ID>/AWSServiceRoleForAmazonEMRContainers/*"
}

概念和術語

以下是與 Amazon 相關的術語和概念的列表。EKS CAM

虛擬群集（VC）— 在 Amazon 中創建的命名空間的邏輯表示EKS。這是一個 1:1 鏈接到一個 Amazon EKS 集群命名空間。您可以使用它在指定命名空間內的 Amazon EKS 叢集上執行 Amazon EMR 工作負載。
命名空間 — 隔離單一EKS叢集內資源群組的機制。
存取原則 — 授與EKS叢集中IAM角色的存取權和動作的權限。
存取項目 — 以角色 arn 建立的項目。您可以將存取項目連結至存取政策，以在 Amazon EKS 叢集中指派特定許可。
EKS存取入口整合式虛擬叢集 — 使用 Amazon 的存取輸入API作業建立的虛擬叢集EKS。

啟用叢集存取使用 `aws-auth`

您必須執行下列動作，允許 Amazon EMR EKS 存取叢集中的特定命名空間：建立 Kubernetes 角色、將角色繫結至 Kubernetes 使用者，以及將 Kubernetes 使用者對應至服務連結角色。AWSServiceRoleForAmazonEMRContainerseksctl當IAM身份對應命令與服務名稱一起emr-containers使用時，這些動作會在中自動執行。可以透過使用下列命令輕鬆執行這些操作。


eksctl create iamidentitymapping \
    --cluster my_eks_cluster \
    --namespace kubernetes_namespace \
    --service-name "emr-containers"

Replace (取代) my_eks_cluster 使用您的 Amazon EKS 群集的名稱並替換 kubernetes_namespace 使用為執行 Amazon 工作負載而建立的 Kubernetes 命名空間。EMR

重要

您必須使用上一個步驟下載最新的 eksctl 設定 kubectl 和 ek sctl 才能使用此功能。

EMR在 Amazon 上啟用叢集存取的手動步驟 EKS

您也可以使用下列手動步驟啟用 Amazon EMR on 的叢集存取EKS。

在特定命名空間中建立 Kubernetes 角色

Amazon EKS 1.22 - 1.29

使用 Amazon EKS 1.22-1.29 時，執行下列命令以在特定命名空間中建立 Kubernetes 角色。此角色授予 Amazon EMR 的必要RBAC許可EKS。


namespace=my-namespace
cat - >>EOF | kubectl apply -f - >>namespace "${namespace}"
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: emr-containers
  namespace: ${namespace}
rules:
  - apiGroups: [""]
    resources: ["namespaces"]
    verbs: ["get"]
  - apiGroups: [""]
    resources: ["serviceaccounts", "services", "configmaps", "events", "pods", "pods/log"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["create", "patch", "delete", "watch"]
  - apiGroups: ["apps"]
    resources: ["statefulsets", "deployments"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["batch"]
    resources: ["jobs"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["extensions", "networking.k8s.io"]
    resources: ["ingresses"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["rbac.authorization.k8s.io"]
    resources: ["roles", "rolebindings"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete",  "deletecollection", "annotate", "patch", "label"]
EOF

Amazon EKS 1.21 and below

使用 Amazon EKS 1.21 及更低版本時，執行下列命令以在特定命名空間中建立 Kubernetes 角色。此角色授予 Amazon EMR 的必要RBAC許可EKS。


namespace=my-namespace
cat - >>EOF | kubectl apply -f - >>namespace "${namespace}"
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: emr-containers
  namespace: ${namespace}
rules:
  - apiGroups: [""]
    resources: ["namespaces"]
    verbs: ["get"]
  - apiGroups: [""]
    resources: ["serviceaccounts", "services", "configmaps", "events", "pods", "pods/log"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["create", "patch", "delete", "watch"]
  - apiGroups: ["apps"]
    resources: ["statefulsets", "deployments"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["batch"]
    resources: ["jobs"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["extensions"]
    resources: ["ingresses"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "annotate", "patch", "label"]
  - apiGroups: ["rbac.authorization.k8s.io"]
    resources: ["roles", "rolebindings"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "describe", "create", "edit", "delete", "deletecollection", "annotate", "patch", "label"]
EOF

建立範圍為命名空間的 Kubernetes 角色繫結

執行下列命令，在指定命名空間中建立 Kubernetes 角色繫結。此角色繫結會將在上一個步驟建立的角色中定義的許可授予名為 emr-containers 的使用者。此使用者可識別 Amazon EMR on 的服務連結角色 EKS，因此可讓 Amazon EMR on EKS 執行您建立的角色所定義的動作。
```
namespace=my-namespace

cat - <<EOF | kubectl apply -f - --namespace "${namespace}"
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: emr-containers
  namespace: ${namespace}
subjects:
- kind: User
  name: emr-containers
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: Role
  name: emr-containers
  apiGroup: rbac.authorization.k8s.io
EOF
```
更新 Kubernetes aws-auth 組態地圖

您可以使用下列其中一個選項，將 Amazon 對應EKS服務連結角色與EMR上一個步驟中與 Kubernetes 角色繫結的使用emr-containers者對應。

選項 1：使用 eksctl

執行下列eksctl命令，將 Amazon EMR 上的EKS服務連結角色對應至emr-containers使用者。
```
eksctl create iamidentitymapping \
    --cluster my-cluster-name \
    --arn "arn:aws:iam::my-account-id:role/AWSServiceRoleForAmazonEMRContainers" \
    --username emr-containers
```
選項 2：不使用 eksctl
1. 執行下列命令，在文字編輯器中開啟 aws-auth 組態映射。
```
kubectl edit -n kube-system configmap/aws-auth
```
  注意
  如果您收到說明的錯誤訊息Error from server (NotFound): configmaps "aws-auth" not found，請參閱 Amazon 使用者指南中新增使EKS用者角色中的步驟，以套用庫存 ConfigMap。
2. 將 Amazon EMR 上的EKS服務連結角色詳細資訊新增至的mapRoles〈〉一節中ConfigMap的〈〉。data若此區段在檔案不存在，則將其新增。資料下的已更新 mapRoles 章節類似下列範例。
```
apiVersion: v1
data:
  mapRoles: |
    - rolearn: arn:aws:iam::<your-account-id>:role/AWSServiceRoleForAmazonEMRContainers
      username: emr-containers
    - ... <other previously existing role entries, if there's any>.
```
3. 儲存檔案並結束您的文字編輯器。

您的瀏覽器已停用或無法使用 Javascript。

您必須啟用 Javascript，才能使用 AWS 文件。請參閱您的瀏覽器說明頁以取得說明。

文件慣用形式

設定

在EKS叢集上啟用服務帳戶的IAM角色 (IRSA)