Apache Hive 플러그인 - 아마존 EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Apache Hive 플러그인

Apache Hive는 Hadoop 에코시스템에서 널리 사용되는 실행 엔진입니다. EMRAmazon은 Hive에 대한 세밀한 액세스 제어를 제공할 수 있는 Apache Ranger 플러그인을 제공합니다. 플러그인은 오픈 소스 Apache Ranger Admin 서버 버전 2.0 이상과 호환됩니다.

지원되는 기능

Hive on용 Apache Ranger 플러그인은 데이터베이스, 테이블, 열 수준 액세스 제어, 행 필터링 및 데이터 마스킹을 비롯한 오픈 소스 플러그인의 모든 기능을 EMR 지원합니다. Hive 명령 및 관련 Ranger 권한 테이블은 Hive commands to Ranger permission mapping을 참조하세요.

서비스 구성 설치

아파치 하이브 플러그인은 아파치 하이브 하둡 내의 기존 하이브 서비스 정의와 호환됩니다. SQL

하둡용 아파치 하이브 서비스 정의. SQL

위와 같이 SQL 하둡에 서비스 인스턴스가 없는 경우 새로 만들 수 있습니다. Hadoop 옆의 +를 클릭합니다. SQL

  1. 서비스 이름(표시된 경우): 서비스 이름을 입력합니다. 제안된 값은 amazonemrhive입니다. 이 서비스 이름을 기록해 두십시오. 이 이름은 EMR 보안 구성을 만들 때 필요합니다.

  2. 표시 이름: 서비스에 표시할 이름을 입력합니다. 제안된 값은 amazonemrhive입니다.

하둡에 대한 아파치 하이브 서비스 세부 정보. SQL

Apache Hive Config 속성은 정책을 생성할 때 자동 완성을 구현하기 위해 2를 HiveServer 사용하여 Apache Ranger 관리 서버에 연결하는 데 사용됩니다. 영구 HiveServer 2 프로세스가 없고 모든 정보로 채울 수 있는 경우 아래 속성이 정확할 필요는 없습니다.

  • 사용자 이름: HiveServer 2 인스턴스의 인스턴스 JDBC 연결에 사용할 사용자 이름을 입력합니다.

  • 암호: 위의 사용자 이름에 대한 암호를 입력합니다.

  • jdbc.driver. ClassName: Apache Hive 연결을 위한 클래스의 JDBC 클래스 이름을 입력합니다. 기본값을 사용할 수 있습니다.

  • jdbc.url: 2에 JDBC 연결할 때 사용할 연결 문자열을 입력합니다. HiveServer

  • 인증서의 일반 이름: 클라이언트 플러그인에서 관리 서버에 연결하는 데 사용되는 인증서 내 CN 필드. 이 값은 플러그인용으로 만든 TLS 인증서의 CN 필드와 일치해야 합니다.

Apache Hive 서비스 구성 속성.

Test Connection 버튼은 위의 값을 사용하여 HiveServer 2 인스턴스에 성공적으로 연결할 수 있는지 테스트합니다. 서비스가 성공적으로 생성되면 Service Manager는 다음과 같이 표시됩니다.

HiveServer2 인스턴스에 연결되었습니다.

고려 사항

Hive 메타데이터 서버

Hive 메타데이터 서버는 무단 액세스로부터 보호하기 위해 신뢰할 수 있는 엔진, 특히 Hive 및 emr_record_server를 통해서만 액세스할 수 있습니다. 클러스터의 모든 노드는 Hive 메타데이터 서버에도 액세스할 수 있습니다. 필수 포트 9083은 기본 노드에 대한 액세스 권한을 모든 노드에 제공합니다.

인증

기본적으로 Apache Hive는 보안 구성에 구성된 대로 Kerberos를 사용하여 인증하도록 구성됩니다. EMR HiveServer2를 사용하여 사용자를 인증하도록 구성할 수도 있습니다. LDAP 자세한 내용은 멀티 테넌트 Amazon EMR 클러스터에서의 Hive LDAP 인증 구현을 참조하십시오.

제한 사항

Amazon EMR 5.x의 Apache Hive 플러그인에 대한 현재 제한 사항은 다음과 같습니다.

  • Hive 역할은 현재 지원되지 않습니다. 승인, 취소 명령문은 지원되지 않습니다.

  • Hive는 지원되지 CLI 않습니다. JDBC/Beeline은 Hive를 연결할 수 있는 유일한 승인된 방법입니다.

  • hive.server2.builtin.udf.blacklist구성은 안전하지 UDFs 않다고 판단되는 내용으로 채워야 합니다.