AWS Lake Formation 与亚马逊 Redshift Spectrum 一起使用 - AWS Lake Formation

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

AWS Lake Formation 与亚马逊 Redshift Spectrum 一起使用

Amazon Redshift Spectrum 使您可以查询和检索 Amazon S3 数据湖中的数据,而不必将数据加载到 Amazon Redshift 集群节点中。

Redshift Spectrum 支持两种注册启用了 Lake Formation 的外部 AWS Glue 数据目录的方法。

利用 Lake Formation 与 Redshift Spectrum 的集成,您可以在将数据注册到 Lake Formation 后定义对表的行、列和单元格级别访问控制权限。

有关更多信息,请参阅将 Redshift 频谱与配合使用。 AWS Lake Formation

Redshift Spectrum 支持对 Lake Formation 托管的外部架构表执行读取或 SELECT 查询。

有关更多信息,请参阅为 Redshift Spectrum 创建外部架构

支持事务表类型

下表列出了 Redshift Spectrum 中支持的事务表格格式以及适用的 Lake Formation 权限。

支持的表格格式
表格式 描述和允许的操作 Redshift Spectrum 支持的 Lake Formation 权限

Apache Hudi

一种用于简化增量数据处理和数据管线开发的格式。

Redshift Spectrum 支持在 Amazon S3 上使用 Apache Hudi 写时复制 (CoW) 表格格式执行插入、删除和更新写入操作。

有关更多信息,请参阅为 Apache Hudi 中管理的数据创建外部表

通过Lake Formation 中的数据筛选和单元格级别安全性使用表、列、行和单元格级别权限保护 Hudi 表。

Apache Iceberg

一种开放表格格式,它将大量文件作为表进行管理,并且支持现代分析数据湖操作,例如记录级别插入、更新、删除和时间旅行查询。

有关更多信息,请参阅将 Apache Iceberg 表与 Amazon Redshift 搭配使用

Redshift Spectrum 支持使用 Apache Iceberg 表进行查询。

Linux Foundation Delta Lake Delta Lake 是一个开源项目,可帮助实现通常在 Amazon S3 或 Hadoop 分布式文件系统 () HDFS 上构建的现代数据湖架构。

Redshift Spectrum 支持查询 Delta Lake 表。有关更多信息,请参阅为 Apache Hudi 中托管的数据创建外部表

支持表、列、行和单元格级别权限。

其他 资源