混合访问模式 - AWS Lake Formation

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

混合访问模式

AWS Lake Formation 混合访问模式支持访问相同 AWS Glue Data Catalog 数据库、表和视图的两种权限路径。
 在第一种途径中,Lake Formation 允许您选择特定的主体,并通过选择加入向他们授予 Lake Formation 访问数据库和表格的权限。第二种途径允许所有其他委托人通过 Amazon S3 的默认IAM委托人策略和 AWS Glue 操作访问这些资源。

在 Lake Formation 中注册 Amazon S3 位置时,您可以选择对该位置的所有资源强制实施 Lake Formation 权限,也可以选择使用混合访问模式。默认情况下,混合访问模式仅强制实施 CREATE_TABLECREATE_PARTITIONUPDATE_TABLE 权限。当 Amazon S3 位置处于混合模式时,您可以通过为该位置下的数据库和表选择主体来启用 Lake Formation 权限。


因此,混合访问模式使您可以灵活地且有选择性地为一组特定用户针对数据目录中的数据库和表启用 Lake Formation,而不会中断其他现有用户或工作负载的访问。

AWS 账户 architecture showing data flow between S3, Glue, Lake Formation, Athena, and IAM roles.

有关注意事项和限制,请参阅混合访问模式注意事项和限制

术语和定义

以下是基于您对访问权限的设置方式的数据目录资源定义:

Lake Formation 资源

已向 Lake Formation 注册的资源。用户需要 Lake Formation 权限才能访问该资源。

AWS Glue 资源

未向 Lake Formation 注册的资源。由于资源具有IAMAllowedPrincipals群组IAM权限,因此用户只需要访问该资源的权限。Lake Formation 权限不会被强制实施。

有关 IAMAllowedPrincipals 组权限的更多信息,请参阅元数据权限

混合资源

在混合访问模式下注册的资源。根据访问资源的用户,该资源会在充当 Lake Formation 资源或 AWS Glue 资源之间动态切换。

常见的混合访问模式使用案例

您可以在单账户和跨账户数据共享场景中使用混合访问模式提供访问权限:

单账户场景
  • 将@@ AWS Glue 资源转换为混合资源-在这种情况下,您当前未使用 Lake Formation,但希望对数据目录数据库和表采用 Lake Formation 权限。当您在混合访问模式下注册 Amazon S3 位置时,您可以向选择使用指向该位置的特定数据库和表的用户授予 Lake Formation 权限。

  • Lake Formation 资源转换为混合资源 — 目前,您正在使用 Lake Formation 权限来控制数据目录数据库的访问权限,但希望在 AWS Glue 不中断现有 Lake Formation IAM 权限的情况下向新的委托人提供访问权限。

    当您将数据位置注册更新为混合访问模式时,新的委托人可以使用IAM权限策略访问指向 Amazon S3 位置的数据目录数据库,而不会中断现有用户的 Lake Formation 权限。

    在更新数据位置注册以启用混合访问模式之前,您需要先选择当前使用 Lake Formation 权限访问资源的主体。
 这是为了防止当前工作流可能出现中断。
 您还需要向 IAMAllowedPrincipal 组授予对数据库中表的 Super 权限。

跨账户数据共享场景
  • 使用混合访问模式共享 AWS Glue 资源-在这种情况下,创建者账户的数据库中有表,这些表当前使用 Amazon S3 和 AWS Glue 操作的IAM权限策略与消费者账户共享。数据库的数据位置未在 Lake Formation 中注册。

    在混合访问模式下注册数据位置之前,您需要将跨账户版本设置更新为版本 4。版本 4 提供了IAMAllowedPrincipal群组拥有资源 AWS RAM 权限时跨账户共享所需的新Super权限策略。对于那些具有 IAMAllowedPrincipal 组权限的资源,您可以向外部账户授予 Lake Formation 权限,并选择他们以使他们可以使用 Lake Formation 权限。接收方账户中的数据湖管理员可以向账户中的主体授予 Lake Formation 权限,并选择他们以强制实施 Lake Formation 权限。

  • 使用混合访问模式共享 Lake Formation 资源 — 当前,制作者账户拥有与强制实施 Lake Formation 权限的使用者账户共享的数据库中的表。数据库的数据位置在 Lake Formation 中注册。

    在这种情况下,您可以将 Amazon S3 位置注册更新为混合访问模式,并针对使用者账户中的主体使用 Amazon S3 存储桶策略和数据目录资源策略来共享来自 Amazon S3 的数据和来自数据目录的元数据。在更新 Amazon S3 位置注册之前,您需要重新授予现有的 Lake Formation 权限并选择主体。此外,您还需要向 IAMAllowedPrincipals 组授予对数据库中表的 Super 权限。