使用其他 AWS 服务 - AWS Lake Formation

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用其他 AWS 服务

AWS 亚马逊 Athena AWS Glue、Amazon Redshift Spectrum EMR 和 AWS Lake Formation 亚马逊等服务可以用来安全地访问在 Lake Formation 注册的亚马逊 S3 地点的数据。借助 Lake Formation,您可以在中为表定义和管理精细的访问控制 (FGAC) 权限。 AWS Glue Data Catalog这些 AWS 服务中的每一项都是 Lake Formation 的可信调用者,而 Lake Formation 通过临时证书提供对存储在 Amazon S3 中的数据的访问权限。有关更多信息,请参阅 Lake Formation 应用程序集成的工作原理

为了利用这些功能,Lake Formation 要求您首先注册 Amazon S3 位置,然后向IAM委托人分配访问表、数据库和 Amazon S3 位置的相应权限。有关更多信息,请参阅管理 Lake Formation 权限

下表列出了亚马逊 Athena、Amazon 和 A AWS Glue mazon Redshift Spectrum 支持的 Lake Form AWS Glue ation 权限类型,这些权限用于访问标准表和交易表(Apache I ceberg、 Apache Hudi 和 Linux 基础 D elta Lake)中的数据,数据存储在亚马逊 S3 中,表元数据存储在数据目录中。EMR

AWSAWS Glue 标准表和视图的服务和支持的权限类型
AWS 服务 表级权限 列级权限 行和单元格级别的权限
Athena SQL

读/写入权限

读取权限 读取权限
Athena Spark

不支持

不支持

不支持

预配置集群上的 Redshift 频谱或无服务器上的 Amazon Redshift Spectrum

读/写入权限 读取权限 读取权限

亚马逊上的 Apache Spark EMR () EC2

读/写入权限 读取权限 读取权限
亚马逊EMR上的 Apache Hive () EC2 读/写入权限 读取权限 不支持
无服务器上的 Apache Spark EMR 读/写入权限 读取权限 读取权限
无服务器上的 Apache Hive EMR 不支持 不支持 不支持
Amazon EMR on EKS 不支持 不支持 不支持
AWS Glue ETL 读/写入权限 不支持 不支持
注意事项和限制
  • Athena Spark 不支持使用 Lake Formation 权限查询数据目录表。

  • 基于 SAML Athena 的用户可以通过启用基于 2.0 的联合,读取使用 Lake Formation 权限保护的数据SAML源。SAML用户可以将数据插入到 Parquet 表中。

  • EMR无服务器上的 Apache Spark 不支持查询数据目录视图。

  • Serv EMR erless 上的 Apache Hive 不支持查询具有 Lake Formation 权限的表。

  • AWS Glue ETL从底层 Amazon S3 位置获取数据时,需要对整个表具有完全访问权限。 AWS Glue ETL如果您对表应用列级权限,则作业会失败。

AWS 事务表格式的服务和支持的权限类型
AWS 服务 Iceberg Hudi 三角洲湖(原生) 三角洲湖(符号链接表)

Athena SQL

支持读取具有表、列、行和单元格级别权限的表。写入操作需要完全的表访问权限。

支持对具有表、列、行和单元格级别权限的表进行读取和创建操作。不支持写入操作。

Athena(引擎版本 3)支持使用表、列、行和单元格级别权限读取原生 Delta Lake 表。不支持写入操作。

Athena(引擎版本 3)支持读取具有表、列、行和单元格级别权限的符号链接 Delta Lake 表。不支持写入操作。

已配置集群上的 Redshift 频谱

支持读取具有表、列、行和单元格级别权限的表。不支持写入操作。

支持读取具有表、列、行和单元格级别权限的表。不支持写入操作。

不支持 支持通过具有表、列、行和单元格级别权限的符号链接清单读取 Delta Lake 表。不支持写入操作。
亚马逊上的 Apache Spark EMR () EC2 支持读取具有表、列、行和单元格级别权限的表。写入操作需要完全的表访问权限。 支持读取具有表、列、行和单元格级别权限的表。写入操作需要完全的表访问权限。

支持读取具有表、列、行和单元格级别权限的表。不支持写入操作。

支持读取具有表、列、行和单元格级别权限的表。写入操作需要完全的表访问权限。
AWS Glue ETL 支持对具有表级权限的表进行读/写。 支持对具有表级权限的表进行读/写。 支持对具有表级权限的表进行读/写。 支持对具有表级权限的表进行读/写。