AWS Lake Formation은 AWS Glue Data Catalog를 사용하여 Amazon S3 데이터에 대한 메타데이터를 데이터베이스 및 테이블 형태로 저장합니다. 테이블에는 스키마 정보, 파티션 정보, 데이터 위치 등 기본 데이터에 대한 정보가 저장됩니다. 데이터베이스는 테이블의 컬렉션입니다. 데이터 카탈로그에는 외부 계정의 공유 데이터베이스 및 테이블에 대한 링크인 리소스 링크도 포함되어 있으며, 데이터 레이크의 데이터에 대한 교차 계정 액세스에 사용됩니다. 각 AWS 계정에는 AWS 리전당 하나의 데이터 카탈로그가 있습니다.
Lake Formation은 Amazon S3의 기본 데이터가 포함된 데이터 카탈로그의 데이터베이스, 테이블 및 열에 대한 액세스 권한을 부여하거나 취소할 수 있는 관계형 데이터베이스 관리 시스템(RDBMS) 권한 모델을 제공합니다.
Lake Formation 권한 모델에 대해 자세히 알아보기 전에 다음 배경 정보를 검토하는 것이 좋습니다.
-
Lake Formation에서 관리하는 데이터 레이크는 Amazon Simple Storage Service(S3)의 지정된 위치에 있습니다.
-
Lake Formation은 로그 및 관계형 데이터베이스의 데이터와 같이 데이터 레이크로 가져올 소스 데이터와 Amazon S3의 데이터 레이크에 있는 데이터에 대한 메타데이터가 포함된 데이터 카탈로그를 유지 관리합니다. 메타데이터는 데이터베이스와 테이블로 구성됩니다. 메타데이터 테이블에는 스키마, 위치, 파티션 및 해당 테이블이 나타내는 데이터에 대한 기타 정보가 포함됩니다. 메타데이터 데이터베이스는 테이블의 컬렉션입니다.
-
Lake Formation 데이터 카탈로그는 AWS Glue에서 사용하는 것과 동일한 데이터 카탈로그입니다. AWS Glue 크롤러를 사용하여 데이터 카탈로그 테이블을 생성할 수 있고 AWS Glue 추출, 전환, 적재(ETL) 작업을 사용하여 데이터 레이크에 기본 데이터를 채울 수 있습니다.
-
데이터 카탈로그의 데이터베이스 및 테이블을 데이터 카탈로그 리소스라고 합니다. 데이터 카탈로그의 테이블을 데이터 소스의 테이블 또는 Amazon S3의 테이블 형식 데이터와 구분하기 위해 메타데이터 테이블이라고 합니다. 메타데이터 테이블이 Amazon S3 또는 데이터 소스에서 가리키는 데이터를 기본 데이터라고 합니다.
-
보안 주체는 사용자 또는 역할, Amazon QuickSight 사용자 또는 그룹, SAML 공급자를 통해 Lake Formation에서 인증하는 사용자 또는 그룹 또는 교차 계정 액세스 제어를 위한 AWS 계정 ID, 조직 ID 또는 조직 단위 ID입니다.
-
AWS Glue 크롤러는 메타데이터 테이블을 생성하지만 Lake Formation 콘솔, API 또는 AWS Command Line Interface(AWS CLI)를 사용하여 메타데이터 테이블을 수동으로 생성할 수도 있습니다. 메타데이터 테이블을 생성할 때에는 위치를 지정해야 합니다. 데이터베이스를 생성할 때 위치는 선택 사항입니다. 테이블 위치는 Amazon S3 위치 또는 Amazon Relational Database Service(RDS) 데이터베이스와 같은 데이터 소스 위치일 수 있습니다. 데이터베이스 위치는 항상 Amazon S3 위치입니다.
-
Amazon Athena 및 Amazon Redshift와 같이 Lake Formation과 통합되는 서비스는 데이터 카탈로그에 액세스하여 메타데이터를 가져오고 쿼리 실행에 대한 승인을 확인할 수 있습니다. 통합 서비스의 전체 목록은 Lake Formation과 AWS 서비스 통합 섹션을 참조하세요.