옵션 1: EKS 클러스터에서 EKS Pod Identity 활성화

Amazon EKS Pod Identity는 Amazon EC2 인스턴스 프로필이 Amazon EC2 인스턴스에 자격 증명을 제공하는 것과 비슷한 방식으로 애플리케이션에 대한 자격 증명을 관리하는 기능을 제공합니다. Amazon EKS Pod Identity는 추가 EKS Auth API와 각 노드에서 실행되는 에이전트 포드를 통해 워크로드에 보안 인증 정보를 제공합니다.

Amazon EMR on EKS는 StartJobRun 제출 모델에 대한 emr-7.3.0 릴리스 이후 EKS 포드 자격 증명을 지원하기 시작합니다.

EKS 포드 ID에 대한 자세한 내용은 EKS 포드 ID 작동 방식 이해를 참조하세요.

왜 EKS Pod Identity인가?

EMR 설정의 일환으로 작업 실행 역할은 IAM 역할과 특정 네임스페이스(EMR 가상 클러스터)의 서비스 계정 간에 신뢰 경계를 설정해야 합니다. IRSA를 사용하면 EMR 작업 실행 역할의 신뢰 정책을 업데이트하여 이를 달성할 수 있습니다. 그러나 IAM 신뢰 정책 길이의 4096자 하드 제한으로 인해 최대 12개(12) EKS 클러스터에서 단일 작업 실행 IAM 역할을 공유하는 제약이 있었습니다.

포드 ID에 대한 EMR의 지원을 통해 이제 EKS 팀이 EKS 포드 ID의 연결 APIs를 통해 IAM 역할과 서비스 계정 간의 신뢰 경계를 관리합니다.

포드 자격 증명 고려 사항

포드 자격 증명 제한 사항에 대한 자세한 내용은 EKS 포드 자격 증명 고려 사항을 참조하세요.

EKS 클러스터에서 EKS Pod Identity 준비

NodeInstanceRole에 필요한 권한이 있는지 확인

노드 역할에는 에이전트가 EKS Auth API에서 AssumeRoleForPodIdentity 작업을 수행할 수 있는 권한이 NodeInstanceRole 필요합니다. Amazon EKS 사용 설명서에 정의된 AmazonEKSWorkerNodePolicy에 다음을 추가하거나 사용자 지정 정책을 사용할 수 있습니다.

EKS 클러스터가 0.181.0보다 높은 eksctl 버전으로 생성된 경우 필요한 AssumeRoleForPodIdentity 권한을 포함한 AmazonEKSWorkerNodePolicy가 노드 역할에 자동으로 연결됩니다. 권한이 없는 경우 포드 자격 증명에 대한 역할을 수임할 수 있도록 허용하는 다음 권한을 AmazonEKSWorkerNodePolicy에 수동으로 추가합니다. 이 권한은 EKS 포드 자격 증명 에이전트가 포드의 자격 증명을 검색하는 데 필요합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "eks-auth:AssumeRoleForPodIdentity"
            ],
            "Resource": "*"
        }
    ]
}

EKS 포드 자격 증명 에이전트 추가 기능 생성

다음 명령을 사용하여 최신 버전으로 EKS Pod Identity Agent 추가 기능을 생성합니다.

aws eks create-addon --cluster-name cluster-name --addon-name eks-pod-identity-agent

kubectl get pods -n kube-system | grep 'eks-pod-identity-agent'

다음 단계에 따라 Amazon EKS 콘솔에서 EKS Pod Identity Agent 추가 기능을 생성합니다.

예제 출력은 다음과 같습니다.

NAME                              READY   STATUS    RESTARTS      AGE
eks-pod-identity-agent-gmqp7      1/1     Running   1 (24h ago)   24h
eks-pod-identity-agent-prnsh      1/1     Running   1 (24h ago)   24h

그러면 kube-system 네임스페이스에 새 DaemonSet가 설정됩니다. 각 EKS 노드에서 실행되는 Amazon EKS Pod Identity Agent는 AssumeRoleForPodIdentity 작업을 사용하여 EKS Auth API에서 임시 자격 증명을 검색합니다. 그런 다음 컨테이너 내에서 실행하는 AWS SDKs에 이러한 자격 증명을 사용할 수 있습니다.

자세한 내용은 퍼블릭 문서의 사전 조건인 Amazon EKS Pod Identity Agent 설정을 참조하세요.

작업 실행 역할 생성

EKS Pod Identity를 허용하는 작업 실행 역할 생성 또는 업데이트

Amazon EMR on EKS로 워크로드를 실행하려면 IAM 역할을 생성해야 합니다. 이 설명서에서는 이 역할을 작업 실행 역할이라고 합니다. IAM 역할을 생성하는 방법에 대한 자세한 내용은 사용 설명서의 IAM 역할 생성을 참조하세요.

또한 작업 실행 역할에 필요한 권한을 지정하는 IAM 정책을 생성한 다음이 정책을 역할에 연결하여 EKS Pod Identity를 활성화해야 합니다.

예를 들어 다음과 같은 작업 실행 역할이 있습니다. 자세한 내용은 작업 실행 역할 생성을 참조하세요.

arn:aws:iam::111122223333:role/PodIdentityJobExecutionRole

작업 실행 역할 구성 - EKS Pod Identity에 대한 아래 신뢰 권한으로 작업 실행 역할이 생성되었는지 확인합니다. 기존 작업 실행 역할을 업데이트하려면 다음 EKS 서비스 보안 주체를 신뢰 정책의 추가 권한으로 신뢰하도록 구성합니다. 이 신뢰 권한은 기존 IRSA 신뢰 정책과 공존할 수 있습니다.

cat >trust-relationship.json <<EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowEksAuthToAssumeRoleForPodIdentity",
            "Effect": "Allow",
            "Principal": {
                "Service": "pods.eks.amazonaws.com"
            },
            "Action": [
                "sts:AssumeRole",
                "sts:TagSession"
            ]
        }
    ]
}
EOF

사용자 권한: 사용자에게 StartJobRun API 호출을 실행하거나 작업을 제출할 수 있는 iam:PassRole 권한이 필요합니다. 이 권한을 통해 사용자는 작업 실행 역할을 EMR on EKS에 전달할 수 있습니다. 작업 관리자에게는 기본적으로 권한이 있어야 합니다.

다음은 사용자에게 필요한 권한입니다.

{
    "Effect": "Allow",
    "Action": "iam:PassRole",
    "Resource": "arn:aws:iam::111122223333:role/PodIdentityJobExecutionRole",
    "Condition": {
        "StringEquals": {
            "iam:PassedToService": "pods.eks.amazonaws.com"
        }
    }
}

특정 EKS 클러스터에 대한 사용자 액세스를 추가로 제한하려면 IAM 정책에 AssociatedResourceArn 속성 필터를 추가합니다. 역할 가정을 승인된 EKS 클러스터로 제한하여 리소스 수준 보안 제어를 강화합니다.

"Condition": {
        "ArnLike": {
            "iam:AssociatedResourceARN": [
                "arn:aws:eks:us-west-2:111122223333:cluster/*"
            ]
        }

EKS 포드 자격 증명 연결 설정

전제 조건

EKS 관리자 사용자와 같은 포드 자격 증명 연결을 생성하는 IAM 자격 증명에 eks:CreatePodIdentityAssociation 및 권한이 있는지 확인합니다iam:PassRole.

    {
        "Effect": "Allow",
        "Action": [
            "eks:CreatePodIdentityAssociation",
        ],
        "Resource": "* or role-arn"
    },
    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Action": "iam:PassRole",
                "Resource": "* or role-arn",
                "Condition": {
                    "StringEquals": {
                        "iam:PassedToService": "pods.eks.amazonaws.com"
                    }
                }
        }]
    }

역할 및 EMR 서비스 계정에 대한 연결 생성

aws emr-containers create-role-associations \
        --cluster-name mycluster \
        --namespace mynamespace \
        --role-name JobExecutionRoleIRSAv2

EKS 포드 자격 증명에 필요한 모든 단계를 완료한 후에는 IRSA 설정에 대해 다음 단계를 건너뛸 수 있습니다.

다음 단계로 직접 건너뛸 수 있습니다. 사용자에게 Amazon EMR on EKS에 대한 액세스 권한 부여

역할 연결 삭제

가상 클러스터 또는 작업 실행 역할을 삭제하고 더 이상 EMR에 대한 액세스 권한을 해당 서비스 계정에 부여하지 않으려면 해당 역할에 대한 연결을 삭제해야 합니다. 이는 EKS가 존재하지 않는 리소스(네임스페이스 및 서비스 계정)와의 연결을 허용하기 때문입니다. Amazon EMR on EKS는 네임스페이스가 삭제되거나 역할이 더 이상 사용되지 않는 경우 연결을 삭제하여 다른 연결을 위한 공간을 확보하는 것이 좋습니다.

aws eks list-pod-identity-associations --cluster-name mycluster --namespace mynamespace

AWS CLI (버전 2.24.0 이상)에서 다음 emr-containers 명령을 실행하여 EMR의 역할 연결을 삭제합니다.

aws emr-containers delete-role-associations \
        --cluster-name mycluster \
        --namespace mynamespace \
        --role-name JobExecutionRoleIRSAv2

기존 IRSA를 포드 ID로 자동 마이그레이션

도구 eksctl을 사용하여 서비스 계정에 대한 기존 IAM 역할(IRSA)을 포드 자격 증명 연결로 마이그레이션할 수 있습니다.

eksctl utils migrate-to-pod-identity \
    --cluster mycluster \
    --remove-oidc-provider-trust-relationship \
    --approve 

--approve 플래그 없이 명령을 실행하면 마이그레이션 단계를 반영하는 계획만 출력되며 실제 마이그레이션은 발생하지 않습니다.

문제 해결

자격 증명 공급자에 대한 NoClassDefinitionFound 또는 ClassNotFound 예외로 인해 작업이 실패했거나 자격 증명 공급자를 가져오지 못했습니다.

EKS Pod Identity는 컨테이너 자격 증명 공급자를 사용하여 필요한 자격 증명을 검색합니다. 사용자 지정 자격 증명 공급자를 지정한 경우 올바르게 작동하는지 확인합니다. 또는 EKS Pod Identity를 지원하는 올바른 AWS SDK 버전을 사용하고 있는지 확인합니다. 자세한 내용은 Amazon EKS 시작하기를 참조하세요.

eks-pod-identity-agent 로그에 표시된 “[x] 크기 제한으로 인해 자격 증명을 검색하지 못했습니다” 오류로 인해 작업이 실패했습니다.

EMR on EKS는 작업 실행 역할 이름을 기반으로 Kubernetes 서비스 계정을 생성합니다. 역할 이름이 너무 길면 , cluster_name pod_name및의 조합이 길이 제한을 service_account_name 초과하기 때문에 EKS Auth가 자격 증명을 검색하지 못합니다. 공간을 가장 많이 차지하는 구성 요소를 식별하고 그에 따라 크기를 조정합니다.

eks-pod-identity 로그에 표시된 "Failed to Retrieve Credentials xxx" 오류로 인해 작업이 실패했습니다.

이 문제의 한 가지 가능한 원인은 클러스터에 대해 PrivateLink를 올바르게 구성하지 않고 프라이빗 서브넷에 EKS 클러스터가 구성되어 있기 때문일 수 있습니다. 클러스터가 프라이빗 네트워크에 있는지 확인하고 문제를 해결하도록 AWS PrivateLink를 구성합니다. 자세한 지침은 Amazon EKS 시작하기를 참조하세요.