Amazon과의 Ranger 통합을 위한 Apache Spark 플러그인 EMR

AmazonEMR은 Spark EMR RecordServer 에 대한 세분화된 액세스 제어를 제공하기 위해 를 통합했습니다SQL. EMR는 Apache Ranger 지원 클러스터의 모든 노드에서 실행되는 권한 있는 프로세스 RecordServer 입니다. Spark 드라이버 또는 실행자가 SparkSQL 문을 실행하면 모든 메타데이터 및 데이터 요청이 를 통과합니다 RecordServer. 에 대한 자세한 내용은 Apache Ranger와 함께 사용할 Amazon EMR 구성 요소 페이지를 EMR RecordServer참조하세요.

지원되는 기능

Spark 를 사용할 때 지원되는 기능은 다음과 같습니다SQL.

INSERT, ALTER또는 DDL 문을 사용하도록 서비스 정의 재배포

# Get existing Spark service definition id calling Ranger REST API and JSON processor
curl --silent -f -u <admin_user_login>:<password_for_ranger_admin_user> \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-k 'https://*<RANGER SERVER ADDRESS>*:6182/service/public/v2/api/servicedef/name/amazon-emr-spark' | jq .id

# Download the latest Service definition
wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-servicedef-amazon-emr-spark.json

# Update the service definition using the Ranger REST API
curl -u <admin_user_login>:<password_for_ranger_admin_user> -X PUT -d @ranger-servicedef-amazon-emr-spark.json \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-k 'https://*<RANGER SERVER ADDRESS>*:6182/service/public/v2/api/servicedef/<Spark service definition id from step 1>'

서비스 정의 설치

의 EMRApache Spark 서비스 정의를 설치하려면 Ranger Admin 서버를 설정해야 합니다. Amazon과 통합하도록 Ranger Admin 서버 설정 EMR을 참조하세요.

다음 단계에 따라 Apache Spark 서비스 정의를 설치합니다.

1단계: Apache Ranger 관리자 서버SSH로

예:

ssh ec2-user@ip-xxx-xxx-xxx-xxx.ec2.internal

2단계: 서비스 정의 및 Apache Ranger Admin 서버 플러그인 다운로드

임시 디렉터리에서 서비스 정의를 다운로드합니다. 이 서비스 정의는 Ranger 2.x 버전에서 지원됩니다.

mkdir /tmp/emr-spark-plugin/
cd /tmp/emr-spark-plugin/

wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-spark-plugin-2.x.jar
wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-servicedef-amazon-emr-spark.json

3단계: Amazon용 Apache Spark 플러그인 설치 EMR

export RANGER_HOME=.. # Replace this Ranger Admin's home directory eg /usr/lib/ranger/ranger-2.0.0-admin
mkdir $RANGER_HOME/ews/webapp/WEB-INF/classes/ranger-plugins/amazon-emr-spark
mv ranger-spark-plugin-2.x.jar $RANGER_HOME/ews/webapp/WEB-INF/classes/ranger-plugins/amazon-emr-spark

4단계: Amazon에 대한 Apache Spark 서비스 정의 등록 EMR

curl -u *<admin users login>*:*_<_**_password_ **_for_** _ranger admin user_**_>_* -X POST -d @ranger-servicedef-amazon-emr-spark.json \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-k 'https://*<RANGER SERVER ADDRESS>*:6182/service/public/v2/api/servicedef'

이 명령이 성공적으로 실행되면 다음 이미지(Ranger 버전 2.0이 표시됨)와 같이 Ranger Admin UI에 “AMAZON-EMR-SPARK”라는 새 서비스가 표시됩니다.

5단계: 애플리케이션의 인스턴스 AMAZON-EMR-SPARK 생성

서비스 이름(표시된 경우): 사용할 서비스 이름. 제안된 값은 amazonemrspark입니다. EMR 보안 구성을 생성할 때 필요하므로 이 서비스 이름을 기록해 둡니다.

표시 이름: 이 인스턴스에 표시될 이름. 제안된 값은 amazonemrspark입니다.

인증서의 일반 이름: 클라이언트 플러그인에서 관리 서버로 연결하는 데 사용되는 인증서 내 CN 필드입니다. 이 값은 플러그인에 대해 생성된 TLS 인증서의 CN 필드와 일치해야 합니다.

SparkSQL 정책 생성

새 정책을 생성할 때 입력할 필드는 다음과 같습니다.

정책 이름: 이 정책의 이름입니다.

정책 레이블: 이 정책에 적용할 수 있는 레이블입니다.

데이터베이스: 이 정책이 적용되는 데이터베이스. 와일드카드 '*'는 모든 데이터베이스를 나타냅니다.

테이블: 이 정책이 적용되는 테이블입니다. 와일드카드 '*'는 모든 테이블을 나타냅니다.

EMR Spark 열 : 이 정책이 적용되는 열입니다. 와일드카드 '*'는 모든 열을 나타냅니다.

설명: 이 정책에 대한 설명입니다.

사용자 및 그룹을 지정하려면 권한을 부여할 사용자 및 그룹을 아래에 입력합니다. 허용 조건 및 거부 조건에 대한 제외 항목을 지정할 수도 있습니다.

허용 및 거부 조건을 지정한 후 저장을 클릭합니다.

고려 사항

EMR 클러스터 내의 각 노드는 포트 9083의 기본 노드에 연결할 수 있어야 합니다.

제한 사항

Apache Spark 플러그인의 현재 제한 사항은 다음과 같습니다.