EMR에서 Amazon S3 Access Grants 사용 EKS

EKS 클러스터EMR에서 Amazon에 대한 작업 실행 역할을 설정합니다. Spark 작업을 실행하는 데 필요한 필수 IAM 권한 s3:GetDataAccess 및를 포함합니다s3:GetAccessGrantsInstanceForPrefix.

{
    "Effect": "Allow",
    "Action": [
    "s3:GetDataAccess",
    "s3:GetAccessGrantsInstanceForPrefix"
    ],
    "Resource": [     //LIST ALL INSTANCE ARNS THAT THE ROLE IS ALLOWED TO QUERY
         "arn:aws_partition:s3:Region:account-id1:access-grants/default",
         "arn:aws_partition:s3:Region:account-id2:access-grants/default"
    ]
}

다음 예제와 같이 Amazon EMR 릴리스 레이블이 6.15 이상이고 emrfs-site 분류가 있는 작업을 EKS 클러스터의 AmazonEMR에 제출합니다. red text의 값을 사용 시나리오에 적합한 값으로 바꾸세요.

{
  "name": "myjob", 
  "virtualClusterId": "123456",  
  "executionRoleArn": "iam_role_name_for_job_execution", 
  "releaseLabel": "emr-7.3.0-latest", 
  "jobDriver": {
    "sparkSubmitJobDriver": {
      "entryPoint": "entryPoint_location",
      "entryPointArguments": ["argument1", "argument2"],  
       "sparkSubmitParameters": "--class main_class"
    }
  }, 
  "configurationOverrides": {
    "applicationConfiguration": [
      {
        "classification": "emrfs-site", 
        "properties": {
          "fs.s3.s3AccessGrants.enabled": "true",
          "fs.s3.s3AccessGrants.fallbackToIAM": "false"
         }
      }
    ], 
  }
}