EMRFSS3 플러그인

멀티 테넌트 클러스터의 S3 객체에 대한 액세스 제어를 보다 쉽게 제공할 수 있도록 EMRFS S3 플러그인은 S3 내 데이터에 액세스할 EMRFS 때 해당 데이터에 대한 액세스 제어를 제공합니다. 사용자 및 그룹 수준에서 S3 리소스에 대한 액세스를 허용할 수 있습니다.

이를 위해 애플리케이션이 S3 내의 데이터에 액세스하려고 할 때 Secret Agent 프로세스에 자격 증명 요청을 EMRFS 보내면 Apache Ranger 플러그인에 대해 요청이 인증되고 승인됩니다. 요청이 승인되면 Secret Agent는 제한된 정책이 적용되는 Apache Ranger Engine의 IAM 역할을 맡아 액세스를 허용한 Ranger 정책에만 액세스할 수 있는 자격 증명을 생성합니다. 그런 다음 자격 증명이 액세스 S3에 EMRFS 다시 전달됩니다.

지원되는 기능

EMRFSS3 플러그인은 스토리지 수준 인증을 제공합니다. 정책을 생성하여 사용자 및 그룹에 S3 버킷 및 접두사에 대한 액세스를 제공할 수 있습니다. 권한 부여는 에 대해서만 수행됩니다EMRFS.

서비스 구성 설치

EMRFS서비스 정의를 설치하려면 Ranger 관리 서버를 설정해야 합니다. 서버를 설정하려면 을 참조하십시오Ranger Admin 서버 설정.

다음 단계에 따라 EMRFS 서비스 정의를 설치하십시오.

1단계: 아파치 레인저 관리 서버로 SSH 이동합니다.

예:

ssh ec2-user@ip-xxx-xxx-xxx-xxx.ec2.internal

2단계: EMRFS 서비스 정의를 다운로드합니다.

임시 디렉터리에서 Amazon EMR 서비스 정의를 다운로드합니다. 이 서비스 정의는 Ranger 2.x 버전에서 지원됩니다.

wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-servicedef-amazon-emr-emrfs.json

3단계: EMRFS S3 서비스 정의를 등록합니다.

curl -u *<admin users login>*:*_<_**_password_ **_for_** _ranger admin user_**_>_* -X POST -d @ranger-servicedef-amazon-emr-emrfs.json \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-k 'https://*<RANGER SERVER ADDRESS>*:6182/service/public/v2/api/servicedef'

이 명령이 성공적으로 실행되면 다음 이미지와 같이 Ranger 관리 UI에 "AMAZON- EMR -S3"이라는 새 서비스가 표시됩니다 (Ranger 버전 2.0이 표시됨).

4단계: AMAZON - EMR - EMRFS 애플리케이션의 인스턴스를 생성합니다.

서비스 정의 인스턴스를 생성합니다.

다음 필드를 입력합니다.

서비스 이름(표시된 경우): 제안되는 값은 amazonemrspark입니다. EMR보안 구성을 생성할 때 필요하므로 이 서비스 이름을 기록해 두십시오.

표시 이름: 이 서비스에 대해 표시되는 이름. 제안된 값은 amazonemrspark입니다.

인증서의 일반 이름: 클라이언트 플러그인에서 관리 서버로 연결하는 데 사용되는 인증서 내 CN 필드입니다. 이 값은 플러그인용으로 만든 TLS 인증서의 CN 필드와 일치해야 합니다.

서비스가 생성되면 서비스 관리자에는 다음 이미지와 같이 "AMAZONEMR- EMRFS “가 포함됩니다.

EMRFSS3 정책 생성

Service Manager의 정책 생성 페이지에서 새 정책을 생성하려면 다음 필드를 채웁니다.

정책 이름: 이 정책의 이름입니다.

정책 레이블: 이 정책에 적용할 수 있는 레이블입니다.

S3 리소스: 버킷과 선택적 접두사로 시작하는 리소스입니다. 모범 사례에 대한 자세한 내용은 EMRFSS3 정책 사용 노트 섹션을 참조하세요. Ranger Admin 서버의 리소스에는 s3://, s3a:// 또는 s3n://이 포함되어서는 안 됩니다.

권한을 부여할 사용자 및 그룹을 지정할 수 있습니다. 허용 조건 및 거부 조건에 대한 제외 항목을 지정할 수도 있습니다.

EMRFSS3 정책 사용 노트

Apache Ranger 내에서 S3 정책을 생성할 때 알아두어야 할 몇 가지 사용 고려 사항이 있습니다.

여러 S3 객체에 대한 권한

재귀 정책과 와일드카드 표현식을 사용하여 공통 접두사가 있는 여러 S3 객체에 권한을 부여할 수 있습니다. 재귀 정책은 공통 접두사가 있는 모든 객체에 권한을 부여합니다. 와일드카드 표현식은 여러 접두사를 선택합니다. 이 두 방법을 함께 사용하면 다음 예제와 같이 여러 개의 공통 접두사가 있는 모든 객체에 권한을 부여합니다.

s3://sales-reports/americas/
    +- year=2000
    |      +- data-q1.parquet
    |      +- data-q2.parquet
    +- year=2019
    |      +- data-q1.json
    |      +- data-q2.json
    |      +- data-q3.json
    |      +- data-q4.json
    |
    +- year=2020
    |      +- data-q1.parquet
    |      +- data-q2.parquet
    |      +- data-q3.parquet
    |      +- data-q4.parquet
    |      +- annual-summary.parquet    
    +- year=2021

- S3 resource = "sales-reports/americas/year=2000"
- permission = "GetObject"
- user = "analyst"

- S3 resource = "sales-reports/americas/year=2020/*"
- permission = "GetObject"
- user = "analyst"

 - S3 resource = "sales-reports/americas/year=2020"
 - permission = "GetObject"
 - user = "analyst"
 - is recursive = "True"

 - S3 resource = "sales-reports/americas/year=20?0"
 - permission = "GetObject"
 - user = "analyst"
 - is recursive = "True"

정책 PutObject 및 DeleteObject 권한

파일에 대한 작성 정책 PutObject 및 파일에 대한 DeleteObject EMRFS 권한은 GetObject 권한과 달리 접두사에 부여된 추가 재귀 권한이 필요하기 때문에 각별한 주의가 필요합니다.

- S3 resource = "sales-reports/americas/year=2020/annual-summary.parquet"
- permission = "DeleteObject"
- user = "analyst"

- S3 resource = "sales-reports/americas/year=2020/annual-summary.parquet"
- permission = "PutObject"
- user = "analyst"

- S3 resource = "sales-reports/americas/year=2020"
- permission = "GetObject"
- user = "analyst"
- is recursive = "True"

정책의 와일드카드

와일드카드를 지정할 수 있는 영역은 두 가지입니다. S3 리소스를 지정할 때는 '*'와 '?'를 사용할 수 있습니다. '*'는 S3 경로와의 일치 기능을 제공하고 접두사 뒤의 모든 항목을 일치시킵니다. 예를 들어 다음 정책과 같습니다.

S3 resource = "sales-reports/americas/*"

이는 다음 S3 경로와 일치합니다.

sales-reports/americas/year=2020/
sales-reports/americas/year=2019/
sales-reports/americas/year=2019/month=12/day=1/afile.parquet 
sales-reports/americas/year=2018/month=6/day=1/afile.parquet 
sales-reports/americas/year=2017/afile.parquet

'?' 와일드카드 문자는 모든 단일 문자와 일치합니다. 예를 들어 다음 정책과 같습니다.

S3 resource = "sales-reports/americas/year=201?/"

이는 다음 S3 경로와 일치합니다.

sales-reports/americas/year=2019/
sales-reports/americas/year=2018/
sales-reports/americas/year=2017/

사용자의 와일드카드

사용자에게 액세스 권한을 제공하기 위해 사용자를 할당할 때 두 가지 기본 제공 와일드카드가 있습니다. 첫 번째는 모든 사용자에게 액세스를 제공하는 “{USER}” 와일드카드입니다. 두 번째 와일드카드는 “{OWNER}”입니다. 이 와일드카드는 특정 객체의 소유자에게 또는 직접 액세스를 제공합니다. 그러나 “{USER}” 와일드카드는 현재 지원되지 않습니다.

제한 사항

EMRFSS3 플러그인의 현재 제한 사항은 다음과 같습니다.