ETL 작업에 필요한 IAM 권한 검토 - AWS Glue
데이터 원본 및 데이터 대상 권한작업 삭제에 필요한 권한AWS Key Management Service 권한커넥터 사용에 필요한 권한

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

ETL 작업에 필요한 IAM 권한 검토

를 사용하여 작업을 생성할 때 AWS Glue Studio, 작업은 생성할 때 지정하는 IAM 역할의 권한을 맡습니다. 이 IAM 역할에는 데이터 소스에서 데이터를 추출하고, 대상에 데이터를 쓰고, AWS Glue 리소스에 액세스할 수 있는 권한이 있어야 합니다.

작업에 대해 생성한 역할의 이름은 문자열로 시작해야 에서 올바르게 사용할 AWSGlueServiceRole 수 있습니다.AWS Glue Studio. 예를 들어 역할 이름을 로 지정할 수 있습니다AWSGlueServiceRole-FlightDataJob.

데이터 원본 및 데이터 대상 권한

원래 요청 ping에 대한 AWS Glue Studio 작업에 사용하는 모든 소스, 대상, 스크립트 및 임시 디렉터리에 대해 Amazon S3에 액세스할 수 있어야 합니다. 특정 Amazon S3 리소스에 대한 세분화된 액세스를 제공하는 정책을 생성할 수 있습니다.

  • 데이터 원본은 s3:ListBucket 및 s3:GetObject 권한을 요구합니다.

  • 데이터 대상은 s3:ListBucket, s3:PutObject 및 s3:DeleteObject 권한을 요구합니다.

참고

IAM 정책은 AWS Glue 변환 호스팅s3:GetObject에 사용되는 특정 버킷을 허용해야 합니다.

다음 버킷은 AWS 서비스 계정에서 소유하며 전 세계적으로 읽을 수 있습니다. 이러한 버킷은 AWS Glue Studio 시각적 편집기를 통해 액세스할 수 있는 변환의 하위 집합과 관련된 소스 코드의 리포지토리 역할을 합니다. 버킷에 대한 권한은 버킷에 대한 다른 API 작업을 거부하도록 설정됩니다. 변환을 위해 제공하는 스크립트는 누구나 읽을 수 있지만, 서비스 팀 외부의 누구도 스크립트에 내용을 “입력”할 수 없습니다. AWS Glue 작업이 실행되면 파일이 로컬 컨테이너로 다운로드되도록 해당 파일을 로컬 가져오기로 가져옵니다. 이후에는 해당 계정과 더 이상 통신할 수 없습니다.

지역: 버킷 이름

  • af-south-1: aws-glue-studio-transforms-762339736633-prod-af-south-1

  • ap-east-1: aws-glue-studio-transforms-125979764932-prod-ap-east-1

  • ap-northeast-2: aws-glue-studio-transforms-673535381443-prod-ap-northeast-2

  • ap-northeast-3: aws-glue-studio-transforms-149976050262-prod-ap-northeast-3

  • ap-south-1: aws-glue-studio-transforms-584702181950-prod-ap-south-1

  • ap-south-2: aws-glue-studio-transforms-380279651983-prod-ap-south-2

  • ap-southeast-1: aws-glue-studio-transforms-737106620487-prod-ap-southeast-1

  • ap-southeast-2: aws-glue-studio-transforms-234881715811-prod-ap-southeast-2

  • ap-southeast-3: aws-glue-studio-transforms-151265630221-prod-ap-southeast-3

  • ap-southeast-4: aws-glue-studio-transforms-052235663858-prod-ap-southeast-4

  • ca-central-1: aws-glue-studio-transforms-622716468547-prod-ca-central-1

  • ca-west-1: aws-glue-studio-transforms-915795495192-prod-ca-west-1

  • eu-central-1: aws-glue-studio-transforms-560373232017-prod-eu-central-1

  • eu-central-2: aws-glue-studio-transforms-907358657121-prod-eu-central-2

  • eu-north-1: aws-glue-studio-transforms-312557305497-prod-eu-north-1

  • eu-south-1: aws-glue-studio-transforms-939684186351-prod-eu-south-1

  • eu-south-2: aws-glue-studio-transforms-239737454084-prod-eu-south-2

  • eu-west-1: aws-glue-studio-transforms-244479516193-prod-eu-west-1

  • eu-west-2: aws-glue-studio-transforms-804222392271-prod-eu-west-2

  • eu-west-3: aws-glue-studio-transforms-371299348807-prod-eu-west-3

  • il-central-1: aws-glue-studio-transforms-806964611811-prod-il-central-1

  • me-central-1: aws-glue-studio-transforms-733304270342-prod-me-central-1

  • me-south-1: aws-glue-studio-transforms-112120182341-prod-me-south-1

  • sa-east-1: aws-glue-studio-transforms-881619130292-prod-sa-east-1

  • us-east-1: aws-glue-studio-transforms-510798373988-prod-us-east-1

  • us-east-2: aws-glue-studio-transforms-251189692203-prod-us-east-2

  • us-west-1: aws-glue-studio-transforms-593230150239-prod-us-west-1

  • us-west-2: aws-glue-studio-transforms-818035625594-prod-us-west-2

  • ap-northeast-1: aws-glue-studio-transforms-200493242866-prod-ap-northeast-1

  • cn-north-1: aws-glue-studio-transforms-071033555442-prod-cn-north-1

  • cn-northwest-1: aws-glue-studio-transforms-070947029561-prod-cn-northwest-1

  • us-gov-west-1: aws-glue-studio-transforms-227493901923-prod-us-gov-west-1-2604

데이터 소스 Amazon Redshift 로 를 선택한 경우 클러스터 권한에 대한 역할을 제공할 수 있습니다. Amazon Redshift 클러스터에 대해 실행되는 작업은 임시 자격 증명을 사용하여 임시 스토리지를 위해 Amazon S3에 액세스하는 명령을 내리게 됩니다. 작업이 1시간 이상 실행되면 이러한 자격 증명이 만료되어 작업이 실패합니다. 이 문제를 방지하기 위해 임시 자격 증명을 사용하여 작업에 필요한 권한을 부여하는 역할을 Amazon Redshift 클러스터 자체에 할당할 수 있습니다. 자세한 내용은 AWS Glue Developer Guide의 Moving Data to and from Amazon Redshift를 참조하세요.

작업이 Amazon S3 이외의 데이터 소스 또는 대상을 사용하는 경우 이러한 데이터 소스 및 대상에 액세스하는 데 작업에서 사용하는 IAM 역할에 필요한 권한을 연결해야 합니다. 자세한 내용은 AWS Glue Developer Guide의 Setting Up Your Environment to Access Data Stores를 참조하세요.

데이터 스토어에 커넥터 및 연결을 사용하는 경우 커넥터 사용에 필요한 권한에 설명된 대로 추가 권한이 필요합니다.

작업 삭제에 필요한 권한

In AWS Glue Studio 콘솔에서 삭제할 작업을 여러 개 선택할 수 있습니다. 이 작업을 수행하려면 glue:BatchDeleteJob 권한이 있어야 합니다. 이는 와 다릅니다.AWS Glue 콘솔 - 작업을 삭제할 수 있는 glue:DeleteJob 권한이 필요합니다.

AWS Key Management Service 권한

AWS Key Management Service (AWS KMS)를 사용하여 서버 측 암호화를 사용하는 Amazon S3 소스 및 대상에 액세스하려면 정책을 에 연결합니다.AWS Glue Studio 작업이 데이터를 복호화할 수 있도록 하는 작업에서 사용하는 역할입니다. 작업 역할에는 kms:ReEncrypt, kms:GenerateDataKey 및 kms:DescribeKey 권한이 필요합니다. 또한 작업 역할에는 AWS KMS 고객 마스터 키()로 암호화된 Amazon S3 객체를 업로드하거나 다운로드할 수 있는 kms:Decrypt 권한이 필요합니다CMK.

사용 시 추가 요금이 부과됩니다 AWS KMS CMKs. 자세한 내용은 AWS Key Management Service 개발자 안내서의 AWS Key Management Service 개념 - 고객 마스터 키(CMKs) 및 AWS Key Management Service 요금을 참조하세요.

커넥터 사용에 필요한 권한

를 사용하는 경우 AWS Glue Custom Connector 및 데이터 스토어에 액세스하기 위한 연결, 를 실행하는 데 사용되는 역할 AWS Glue ETL 작업에 추가 권한이 연결되어야 합니다.

가 AWS Glue ETL 작업은 실행 VPC 중인 Amazon 내에서 실행되며VPC, 그런 다음 에 설명된 대로 를 구성해야 VPC 합니다ETL 작업에 사용할 VPC 구성.