기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon AWS Lake Formation Athena와 함께 사용
Amazon Athena는 Amazon S3에 저장된 정형, 반정형 및 비정형 데이터를 분석하는 데 도움이 되는 서버리스 쿼리 서비스입니다. Athena를 사용하여CSV,JSON, Parquet 및 Avro 데이터 형식의 데이터를 SQL 쿼리할 수 있습니다. Athena는 아파치 하이브, 아파치 후디, 아파치
다음은 Athena와 Lake Formation을 함께 사용할 수 있는 몇 가지 일반적인 사용 사례입니다.
Lake Formation 권한을 사용하여 Athena의 데이터 카탈로그 리소스(데이터베이스 및 테이블)에 액세스할 수 있습니다. 명명된 리소스 메서드 또는 LF 태그를 사용하여 데이터베이스 및 테이블에 대한 권한을 정의할 수 있습니다. 자세한 내용은 다음을 참조하세요.
참고
Lake Formation 권한은 Athena를 사용하여 Amazon S3의 소스 데이터와 데이터 카탈로그의 메타데이터를 SQL 쿼리할 때만 적용됩니다.
Athena Spark는 Lake Formation 권한으로 데이터 카탈로그 테이블을 쿼리하는 것을 지원하지 않습니다. Lake Formation 권한은 데이터베이스와 테이블에 대한 읽기 및 쓰기 작업을 모두 지원합니다.
참고
LF 태그를 사용하여 데이터 카탈로그 리소스에 대한 권한을 관리하는 경우 데이터 필터를 적용할 수 없습니다.
Lake Formation의 데이터 필터을 사용하여 열, 행 및 셀 수준에서 권한을 부여하여 Amazon S3 데이터 레이크의 테이블을 보호하는 방식으로 쿼리 결과를 제어합니다. Amazon Athena 사용 설명서의 파티션 프로젝션 제한 사항을 참조하세요.
페더레이션 쿼리를 실행할 때 기반 SAML Athena 사용자가 사용할 수 있는 데이터에 대해 세밀한 액세스 제어를 적용합니다.
JDBCAthena와 ODBC 드라이버는 SAML 기반 ID 공급자 (IdP) 를 사용하여 데이터 소스에 대한 페더레이션 액세스를 구성할 수 있도록 지원합니다. Lake QuickSight Formation과 통합된 Amazon을 기존 IAM 역할 또는 SAML 사용자 또는 그룹과 함께 사용하여 Athena 쿼리 결과를 시각화하십시오.
참고
SAML사용자 및 그룹에 대한 Lake Formation 권한은 JDBC or ODBC 드라이버를 사용하여 Athena에 쿼리를 제출할 때만 적용됩니다.
자세한 내용은 Lake Formation 및 Athena와 JDBC Athena에 대한 페더레이션 ODBC 액세스를 위한 드라이버 사용을 참조하십시오.
참고
현재 Lake Formation의 SAML ID에 대한 액세스 권한 부여는 다음 지역에서 지원되지 않습니다.
-
중동(바레인) - me-south-1
-
아시아 태평양(홍콩) - ap-east-1
-
아프리카(케이프타운) – af-south-1
-
중국(닝샤) - cn-northwest-1
-
아시아 태평양(오사카) – ap-northeast-3
-
Lake Formation에서의 교차 계정 데이터 공유으로 다른 계정의 테이블을 쿼리합니다.
참고
Views에 Lake Formation 권한을 사용할 때의 제한 사항에 대한 자세한 내용은 고려 사항 및 제한을 참조하세요.
트랜잭션 테이블 형식 지원
Lake Formation 권한을 적용하면 Amazon S3 기반 데이터 레이크의 트랜잭션 데이터를 보호할 수 있습니다. 아래 테이블에는 Athena에서 지원되는 트랜잭션 테이블 형식과 Lake Formation 권한이 나와 있습니다. Lake Formation은 Athena 사용자가 쿼리를 실행할 때 이러한 권한을 적용합니다.
| 테이블 형식 | 설명 및 허용된 작업 | Athena에서 지원되는 Lake Formation 권한 |
|---|---|---|
|
Apache Hudi |
증분 데이터 처리 및 데이터 파이프라인 개발을 간소화하는 데 사용되는 형식입니다. Athena는 쓰기 시 복사(CoW) 및 읽기 시 병합(MoR) Hudi 테이블 유형 모두에 대해 Amazon S3 데이터 세트에서 Apache Hudi 테이블 형식을 사용하여 생성 및 읽기 작업을 지원합니다. Athena는 Hudi 테이블에 대한 쓰기 작업을 지원하지 않습니다. Athena를 사용하여 Hudi 데이터 세트를 쿼리할 수 있습니다. |
Lake Formation의 데이터 필터링 및 셀 수준 보안을 사용하여 테이블, 열, 행 및 셀 수준 권한으로 Hudi 테이블을 보호합니다. |
|
Apache Iceberg |
대규모 파일 모음을 테이블로 관리하며 레코드 수준 삽입, 업데이트, 삭제 및 시간 이동 쿼리와 같은 최신 분석 데이터 레이크 작업을 지원하는 오픈 테이블 형식입니다. Athena의 Iceberg 테이블 지원에 대한 자세한 내용은 Iceberg 테이블 사용을 참조하세요. |
테이블, 열, 행 및 셀 수준 권한이 지원됩니다. 현재 Lake Formation은 오픈 테이블 형식의 테이블에 대한 |
|
Linux Foundation Delta Lake |
Delta Lake는 Amazon S3 또는 Hadoop 분산 파일 시스템 () 에 일반적으로 구축되는 최신 데이터 레이크 아키텍처를 구현하는 데 도움이 되는 오픈 소스 프로젝트입니다. HDFS Athena는 Delta Lake 테이블에서 심볼릭 링크 기반 매니페스트 테이블 정의를 사용하여 만든 Delta lake 테이블을 지원합니다. AWS Glue Data Catalog 자세한 내용은 크롤러를 사용한 델타 레이크 테이블 크롤링을 Athena(엔진 버전 3)는 네이티브 Delta Lake 테이블 읽기를 지원합니다. 자세한 내용은 크롤러를 통한 네이티브 Delta Lake 테이블 지원 소개를 |
테이블, 열, 행 및 셀 수준 권한은 symlink 테이블 및 네이티브 Delta Lake 테이블에서 지원됩니다. |
추가 리소스
블로그 게시물, 동영상 및 워크숍
