Amazon EMR과 Ranger의 통합을 위한 Apache Spark 플러그인

Amazon EMR은 EMR RecordServer를 통합하여 SparkSQL에 대한 세분화된 액세스 제어를 제공합니다. EMR의 RecordServer는 Apache Ranger 지원 클러스터의 모든 노드에서 실행되는 권한 있는 프로세스입니다. Spark 드라이버 또는 실행기가 SparkSQL 문을 실행하면 모든 메타데이터 및 데이터 요청이 RecordServer를 통과합니다. EMR RecordServer에 대한 자세한 내용은 Apache Ranger에서 사용할 Amazon EMR 구성 요소 페이지를 참조하세요.

지원 기능

SparkSQL을 사용할 때 지원되는 기능은 다음과 같습니다.

INSERT, ALTER 또는 DDL 문을 사용하도록 서비스 정의 재배포

# Get existing Spark service definition id calling Ranger REST API and JSON processor
curl --silent -f -u <admin_user_login>:<password_for_ranger_admin_user> \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-k 'https://*<RANGER SERVER ADDRESS>*:6182/service/public/v2/api/servicedef/name/amazon-emr-spark' | jq .id

# Download the latest Service definition
wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-servicedef-amazon-emr-spark.json

# Update the service definition using the Ranger REST API
curl -u <admin_user_login>:<password_for_ranger_admin_user> -X PUT -d @ranger-servicedef-amazon-emr-spark.json \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-k 'https://*<RANGER SERVER ADDRESS>*:6182/service/public/v2/api/servicedef/<Spark service definition id from step 1>'

서비스 정의 설치

EMR의 Apache Spark 서비스 정의를 설치하려면 Ranger Admin 서버를 설정해야 합니다. Amazon EMR과 통합하도록 Ranger Admin 서버 설정을 참조하세요.

다음 단계에 따라 Apache Spark 서비스 정의를 설치합니다.

1단계: Apache Ranger Admin 서버에 SSH로 연결

예시:

ssh ec2-user@ip-xxx-xxx-xxx-xxx.ec2.internal

2단계: 서비스 정의 및 Apache Ranger Admin 서버 플러그인 다운로드

임시 디렉터리에서 서비스 정의를 다운로드합니다. 이 서비스 정의는 Ranger 2.x 버전에서 지원됩니다.

mkdir /tmp/emr-spark-plugin/
cd /tmp/emr-spark-plugin/

wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-spark-plugin-2.x.jar
wget https://s3.amazonaws.com/elasticmapreduce/ranger/service-definitions/version-2.0/ranger-servicedef-amazon-emr-spark.json

3단계: Amazon EMR용 Apache Spark 플러그인 설치

export RANGER_HOME=.. # Replace this Ranger Admin's home directory eg /usr/lib/ranger/ranger-2.0.0-admin
mkdir $RANGER_HOME/ews/webapp/WEB-INF/classes/ranger-plugins/amazon-emr-spark
mv ranger-spark-plugin-2.x.jar $RANGER_HOME/ews/webapp/WEB-INF/classes/ranger-plugins/amazon-emr-spark

4단계: Amazon EMR용 Apache Spark 서비스 정의 등록

curl -u *<admin users login>*:*_<_**_password_ **_for_** _ranger admin user_**_>_* -X POST -d @ranger-servicedef-amazon-emr-spark.json \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-k 'https://*<RANGER SERVER ADDRESS>*:6182/service/public/v2/api/servicedef'

이 명령이 성공적으로 실행되면 다음 이미지와 같이 Ranger Admin UI에 'AMAZON-EMR-SPARK'라는 새 서비스가 표시됩니다(Ranger 버전 2.0이 표시됨).

5단계: AMAZON-EMR-SPARK 애플리케이션의 인스턴스 생성

서비스 이름(표시된 경우): 사용할 서비스 이름. 제안된 값은 amazonemrspark입니다. EMR 보안 구성을 생성할 때 필요하므로 이 서비스 이름을 기록해 둡니다.

표시 이름: 이 인스턴스에 표시될 이름. 제안된 값은 amazonemrspark입니다.

인증서의 일반 이름: 클라이언트 플러그인에서 관리 서버에 연결하는 데 사용되는 인증서 내 CN 필드. 이 값은 플러그인용으로 생성된 TLS 인증서의 CN 필드와 일치해야 합니다.

SparkSQL 정책 생성

새 정책을 생성할 때 입력할 필드는 다음과 같습니다.

정책 이름: 이 정책의 이름입니다.

정책 레이블: 이 정책에 적용할 수 있는 레이블입니다.

데이터베이스: 이 정책이 적용되는 데이터베이스. 와일드카드 '*'는 모든 데이터베이스를 나타냅니다.

테이블: 이 정책이 적용되는 테이블입니다. 와일드카드 '*'는 모든 테이블을 나타냅니다.

EMR Spark 열: 이 정책이 적용되는 열입니다. 와일드카드 '*'는 모든 열을 나타냅니다.

설명: 이 정책에 대한 설명입니다.

사용자 및 그룹을 지정하려면 권한을 부여할 사용자 및 그룹을 아래에 입력합니다. 허용 조건 및 거부 조건에 대한 제외 항목을 지정할 수도 있습니다.

허용 및 거부 조건을 지정한 후 저장을 클릭합니다.

고려 사항

EMR 클러스터 내 각 노드는 포트 9083에서 프라이머리 노드에 연결할 수 있어야 합니다.

제한 사항

Apache Spark 플러그인의 현재 제한 사항은 다음과 같습니다.