Hive 메타데이터 스토어 데이터 공유 고려 사항 및 제한 사항 - AWS Lake Formation

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Hive 메타데이터 스토어 데이터 공유 고려 사항 및 제한 사항

AWS Glue Data Catalog 메타데이터 페더레이션(데이터 카탈로그 페더레이션)을 사용하면 데이터 카탈로그를 Amazon S3 데이터에 대한 메타데이터를 저장하는 외부 메타스토어에 연결하고 를 사용하여 데이터 액세스 권한을 안전하게 관리할 수 있습니다 AWS Lake Formation.

Hive 데이터베이스에서 만든 페더레이션형 데이터베이스에는 다음 고려 사항 및 제한 사항이 적용됩니다.

고려 사항
  • AWS SAM 애플리케이션 지원 - (Amazon API Gateway 및 Lambda 함수)를 AWS SAM 배포하는 애플리케이션 리소스의 가용성에 대한 책임은 사용자에게 있습니다. 사용자가 쿼리를 실행할 때 AWS Glue Data Catalog 와 Hive 메타스토어 간의 연결이 작동하는지 확인합니다.

  • Hive 메타스토어 버전 요구 사항 - Apache Hive 버전 3 이상을 사용해서만 페더레이션된 데이터베이스를 만들 수 있습니다.

  • 매핑된 데이터베이스 요구 사항 - 모든 Hive 데이터베이스를 Lake Formation의 새 데이터베이스에 매핑해야 합니다.

  • 데이터베이스 수준 페더레이션 지원 - 데이터베이스 수준에서만 Hive 메타스토어에 연결할 수 있습니다.

  • 페더레이션형 데이터베이스에 대한 권한 - 페더레이션된 데이터베이스 또는 페더레이션된 데이터베이스의 테이블에 적용된 권한은 소스 테이블이나 데이터베이스가 삭제된 경우에도 지속됩니다. 소스 데이터베이스 또는 테이블을 재생성할 때 권한을 다시 부여할 필요가 없습니다. Lake Formation 권한이 있는 페더레이션된 테이블을 소스에서 삭제해도 Lake Formation 권한은 계속 표시되며 필요한 경우 이를 취소할 수 있습니다.

    사용자가 페더레이션형 데이터베이스를 삭제하면 해당하는 모든 권한이 손실됩니다. 같은 이름으로 동일한 데이터베이스를 재생성해도 Lake Formation 권한은 복구되지 않습니다. 사용자는 새 권한을 다시 설정해야 합니다.

  • 페더레이션 데이터베이스에 대한IAMAllowedPrincipal 그룹 권한 - 를 기반으로 DataLakeSettingsLake Formation은 모든 데이터베이스 및 테이블에 대한 권한을 라는 가상 그룹으로 설정할 수 있습니다IAMAllowedPrincipal. 는 IAM 보안 주체 정책 및 리소스 정책을 통해 Data Catalog AWS Glue 리소스에 액세스할 수 있는 모든 IAM 보안 주체를 IAMAllowedPrincipal 나타냅니다. 데이터베이스 또는 테이블에 이러한 권한이 있는 경우 모든 보안 주체에게 데이터베이스 또는 테이블에 대한 액세스 권한이 부여됩니다.

    그러나 Lake Formation은 페더레이션형 데이터베이스의 테이블에 대한 IAMAllowedPrincipal 권한을 허용하지 않습니다. 페더레이션형 데이터베이스를 생성할 때는 CreateTableDefaultPermissions 파라미터를 빈 목록으로 전달해야 합니다.

    자세한 내용은 데이터 레이크의 기본 설정 변경 단원을 참조하십시오.

  • 쿼리에서 테이블 조인 - Hive 메타스토어 테이블을 데이터 카탈로그 기본 테이블과 조인하여 쿼리를 실행할 수 있습니다.

제한 사항
  • AWS Glue Data Catalog 와 Hive 메타스토어 간의 메타데이터 동기화 제한 사항 - Hive 메타스토어 연결을 설정한 후 Hive 메타스토어의 메타데이터를 와 동기화하려면 페더레이션 데이터베이스를 생성해야 합니다 AWS Glue Data Catalog. 페더레이션형 데이터베이스 아래의 테이블은 사용자가 쿼리를 실행할 때 런타임에 동기화됩니다.

  • 페더레이션형 데이터베이스에서 새 테이블 생성 시 제한 사항 - 페더레이션형 데이터베이스에서는 새 테이블을 생성할 수 없습니다.

  • 데이터 권한 제한 - Hive 메타스토어 테이블 보기에 대한 권한에 대한 지원은 제공되지 않습니다.