使用其他 AWS 服务 - AWS Lake Formation

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用其他 AWS 服务

AWS 亚马逊 Athena AWS Glue、Amazon Redshift Spectrum 和亚马逊 AWS Lake Formation EMR 等服务可用于安全地访问在 Lake Formation 注册的亚马逊 S3 地点的数据。使用 Lake Formation,您可以为 AWS Glue Data Catalog中的表定义和管理细粒度访问控制(FGAC)权限。这些 AWS 服务中的每一项都是 Lake Formation 的可信调用者,而 Lake Formation 通过临时证书提供对存储在 Amazon S3 中的数据的访问权限。有关更多信息,请参阅 Lake Formation 应用程序集成的工作原理

为了利用这些功能,Lake Formation 要求您首先注册 Amazon S3 位置,然后向 IAM 主体分配用于访问表、数据库和 Amazon S3 位置的相应权限。有关更多信息,请参阅管理 Lake Formation 权限

下表列出了亚马逊 Athena、Amazon EMR 和 A AWS Glue mazon Redshift Spectrum 支持的 Lake Format AWS Glue ion 权限类型,这些权限用于访问标准表和交易表(Apache Iceberg、Apache Hudi 和 Linux 基础 Delta Lake中的数据,数据存储在亚马逊 S3 中,表元数据存储在数据目录中。

AWSAWS Glue 标准表和视图的服务和支持的权限类型
AWS 服务 表级别权限 列级别权限 行和单元格级别权限
Athena SQL

读/写入权限

读取访问权限 读取访问权限
Athena Spark

不支持

不支持

不支持

预置集群上的 Redshift Spectrum 或 Amazon Redshift Serverless

读/写入权限 读取访问权限 读取访问权限

亚马逊 EM EC2 R 上的 Apache Spark ()

读/写入权限 读取访问权限 读取访问权限
亚马逊 EMR 上的 Apache Hive () EC2 读/写入权限 读取访问权限 不支持
Apache Spark on EMR Serverless 读/写入权限 读取访问权限 读取访问权限
Apache Hive on EMR Serverless 不支持 不支持 不支持
Amazon EMR on EKS 不支持 不支持 不支持
AWS Glue ETL 读/写入权限 AWS Glue 5.0 或更高版本支持读取权限。 AWS Glue 5.0 或更高版本支持读取权限。
注意事项和限制
  • Athena Spark 不支持使用 Lake Formation 权限查询数据目录表。

  • 基于 Athena SAML 的用户可以通过启用基于 SAML 2.0 的联合身份验证,来读取使用 Lake Formation 权限保护的数据来源。SAML 用户可以将数据插入到 Parquet 表中。

  • Apache Spark on EMR Serverless 不支持查询数据目录视图。

  • Apache Hive on EMR Serverless 不支持使用 Lake Formation 权限查询表。

  • AWS Glue 5.0 或更高版本支持对数据目录中由 S3 支持的 Iceberg 和 Hive 表进行精细的访问控制。此功能允许您为 Apache Spark 作业中的读取查询配置表、行、列和单元格级别 AWS Glue 的访问控制。

    有关更多信息,请参阅 AWS Glue 版本

AWS 事务表格式的服务和支持的权限类型
AWS 服务 Iceberg Hudi Delta Lake(原生) Delta Lake(符号链接表)

Athena SQL

支持使用表、列、行和单元格级别权限读取表。写入操作需要完整表访问权限。

支持使用表、列、行和单元格级权限对表进行读取和创建操作。不支持写入操作。

Athena(引擎版本 3)支持使用表、列、行和单元格级别权限读取 Delta Lake 原生表。不支持写入操作。

Athena(引擎版本 3)支持使用表、列、行和单元格级别权限读取 Delta Lake 符号链接表。不支持写入操作。

预置集群上的 Redshift Spectrum

支持使用表、列、行和单元格级别权限读取表。不支持写入操作。

支持使用表、列、行和单元格级别权限读取表。不支持写入操作。

不支持 支持使用表、列、行和单元格级别权限通过符号链接清单读取 Delta Lake 表。不支持写入操作。
亚马逊 EM EC2 R 上的 Apache Spark () 支持使用表、列、行和单元格级别权限读取表。写入操作需要完整表访问权限。 支持使用表、列、行和单元格级别权限读取表。写入操作需要完整表访问权限。

支持使用表、列、行和单元格级别权限读取表。不支持写入操作。

支持使用表、列、行和单元格级别权限读取表。写入操作需要完整表访问权限。
AWS Glue ETL AWS Glue 5.0 或更高版本支持读取具有表、列、行和单元格级别权限的表。 支持使用表级权限读/写表。 支持使用表级权限读/写表。 支持使用表级权限读/写表。