기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon AWS Lake Formation 에서 사용 EMR
AmazonEMR은 유연한 AWS 관리형 클러스터 플랫폼으로, Hadoop Map-Reduce, Spark, Hive, Presto 등 지원되는 빅 데이터 프레임워크에서 사용자 지정 코드를 실행할 수 있습니다. 또한 조직은 AmazonEMR을 사용하여 고도로 분산된 클러스터에서 배치 및 스트림 데이터 처리 애플리케이션을 모두 실행합니다. Amazon 에서 Apache Spark를 사용하면 Lake Formation에서 권한을 관리하는 데이터베이스 및 테이블에서 데이터 변환 및 사용자 지정 코드를 실행할 EMR수 있습니다.
Amazon 를 배포하는 세 가지 옵션이 있습니다EMR.
-
EMR 의 EC2
-
EMR 서버리스
-
Amazon EMR on EKS
자세한 내용은 세분화된 액세스 제어를 위해 AmazonEMR과 Lake Formation 통합 또는 와 Serverless 사용을 참조하세요. EMR AWS Lake Formation
트랜잭션 테이블 형식 지원
Amazon EMR 릴리스 6.15.0 이상에는 Spark 를 사용하여 데이터를 읽고 쓸 때 Apache Hudi , Apache Iceberg 및 Delta Lake
제한 사항은 Lake Formation을 EMR 사용하는 Amazon에 대한 고려 사항을 참조하세요.
지원되는 테이블 형식 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 테이블 형식 | 설명 및 허용된 작업 | Amazon에서 지원되는 Lake Formation 권한 EMR | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Apache Hudi |
증분 데이터 처리 및 데이터 파이프라인 개발을 간소화하는 데 사용되는 오픈 테이블 형식입니다. 지원되는 작업 목록은 Apache Hudi 및 Lake Formation을 참조하십시오. |
AmazonEMR은 Apache Hudi를 사용하여 테이블, 행, 열 및 셀 수준 액세스 제어를 지원합니다. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Apache Iceberg |
대규모 파일 컬렉션을 테이블로 관리하는 오픈 테이블 형식입니다. 지원되는 작업 목록은 Apache Iceberg 및 Lake Formation을 참조하십시오. |
AmazonEMR은 Apache Iceberg를 사용하여 테이블, 행, 열 및 셀 수준 액세스 제어를 지원합니다. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Linux Foundation Delta Lake |
Delta Lake는 Amazon S3 또는 Hadoop 분산 파일 시스템()에 일반적으로 구축된 최신 데이터 레이크 아키텍처를 구현하는 데 도움이 되는 오픈 소스 프로젝트입니다HDFS. 지원되는 작업 목록은 델타 레이크 및 Lake Formation을 참조하십시오. |
AmazonEMR은 Delta Lake 테이블을 사용하여 테이블, 행, 열 및 셀 수준 액세스 제어를 지원합니다. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
추가 리소스
사용 설명서, 블로그 게시물, 워크샵
