先决条件 - AWS Lake Formation

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

先决条件

您的 AWS 账户必须满足以下先决条件,然后才能与其他账户中的其他账户或委托人共享数据目录资源(数据库和表),然后才能访问与您的账户共享的资源。

跨账户数据共享的一般要求
  • 要在混合访问模式下共享数据目录数据库和表,您需要将跨账户版本设置更新为版本 4

  • 在向数据目录资源授予跨账户权限之前,必须撤销该 IAMAllowedPrincipals 组对该资源的所有 Lake Formation 权限。如果调用主体拥有跨账户访问资源的权限,并且对于该资源存在 IAMAllowedPrincipals 权限,则 Lake Formation 会引发 AccessDeniedException

    仅当在 Lake Formation 模式下注册基础数据位置时,此要求才适用。如果在混合模式下注册数据位置,则对于共享数据库或表可以存在 IAMAllowedPrincipals 组权限。

  • 对于包含要共享的表的数据库,必须防止新表的默认授权 SuperIAMAllowedPrincipals。在 Lake Formation 控制台上,编辑数据库并关闭 “仅对此数据库中的新表使用IAM访问控制”,或者输入以下 AWS CLI 命令,database替换为数据库的名称。如果基础数据位置是在混合访问模式下注册的,则无需更改此默认设置。在混合访问模式下,Lake Formation 允许您有选择地对 Amazon S3 和同一资源强制执行 Lake Formati AWS Glue on IAM 权限和权限策略。

    aws glue update-database --name database --database-input '{"Name":"database","CreateTableDefaultPermissions":[]}'
  • 要授予跨账户权限,授予者必须具有必需的 AWS Identity and Access Management (IAM) 权限 AWS Glue 和 AWS RAM 服务。 AWS 托管策略AWSLakeFormationCrossAccountManager授予所需的权限。

    使用接收资源共享的账户中的数据湖管理员 AWS RAM 必须遵守以下附加策略。它允许管理员接受 AWS RAM 资源共享邀请。它还允许管理员启用与组织的资源共享。

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "ram:AcceptResourceShareInvitation", "ram:RejectResourceShareInvitation", "ec2:DescribeAvailabilityZones", "ram:EnableSharingWithAwsOrganization" ], "Resource": "*" } ] }
  • 如果要与 AWS Organizations 或组织单位共享数据目录资源,则必须在中启用与组织共享 AWS RAM。

    有关如何启用与组织共享的信息,请参阅《AWS RAM 用户指南》中的 “启用与 AWS 组织共享”。

    您必须拥有用于启用与组织的共享所需的 ram:EnableSharingWithAwsOrganization 权限。

  • 要直接与其他账户的IAM委托人共享资源,您需要将跨账户版本设置更新为版本 3。此设置在数据目录设置页面上提供。如果您使用的是版本 1,请参阅有关更新设置 更新跨账户数据共享版本设置 的说明。

  • 您不能与其他账户共享使用 AWS Glue 服务托管密钥加密的数据目录资源。您只能共享使用客户加密密钥加密的数据目录资源,并且接收资源共享的账户必须对数据目录加密密钥拥有相应权限才能解密对象。

使用 LF 要求进行跨账户数据共享 TBAC
  • 要 AWS Organizations 与组织单位 (OUs) 共享数据目录资源,您需要将跨账户版本设置更新为版本 3

  • 要使用跨账户版本设置的版本 3 共享数据目录资源,授予者需要在您的账户中拥有 AWS 托管策略AWSLakeFormationCrossAccountManager中定义的IAM权限。

  • 如果您使用的是跨账户版本设置的版本 1 或版本 2,则必须具有启用 LF-的数据目录资源策略 (glue:PutResourcePolicy) TBAC。有关更多信息,请参阅 同时使用两者管理跨账户权限 AWS Glue 和 Lake Formation

  • 如果你目前正在使用 AWS Glue 数据目录资源策略要共享资源,并且要使用版本 3 的跨账户版本设置授予跨账户权限,则必须使用同时使用两者管理跨账户权限 AWS Glue 和 Lake Formation部分所示的glue:PutResourcePolicyAPI操作在数据目录设置中添加glue:ShareResource权限。如果您的账户未使用跨账户授权,则无需使用此政策 AWS Glue 用于授予跨账户访问权限的数据目录资源策略(版本 1 和版本 2 使用glue:PutResourcePolicy权限)。

    { "Effect": "Allow", "Action": [ "glue:ShareResource" ], "Principal": {"Service": [ "ram.amazonaws.com" ]}, "Resource": [ "arn:aws:glue:<region>:<account-id>:table/*/*", "arn:aws:glue:<region>:<account-id>:database/*", "arn:aws:glue:<region>:<account-id>:catalog" ] }
  • 如果您的账户使用跨账户共享 AWS Glue Data Catalog 资源策略,并且您当前正在使用命名资源方法或TBAC带有跨账户设置版本 3 的 LF AWS RAM 来共享资源(用于共享资源),则在调用glue:PutResourcePolicyAPI操作'true'时必须将EnableHybrid参数设置为。有关更多信息,请参阅 同时使用两者管理跨账户权限 AWS Glue 和 Lake Formation

访问共享资源的每个账户所需的设置
  • 如果您与共享资源 AWS 账户,则消费者账户中必须至少有一个用户是数据湖管理员才能查看共享资源。有关如何创建数据湖管理员的信息,请参阅创建数据湖管理员

    数据湖管理员可以向账户中的其他主体授予对共享资源的 Lake Formation 权限。在数据湖管理员向其他主体授予对共享资源的权限之前,这些主体无法访问共享资源。

  • Athena 和 Redshift Spectrum 等集成服务需要资源链接才能在查询中包含共享资源。主体需要在其数据目录中创建指向其他 AWS 账户中共享资源的资源链接。有关资源链接的更多信息,请参阅资源链接在 Lake Formation 中的工作原理

  • 当资源直接与IAM委托人共享时,要使用 Athena 查询表,则委托人需要创建资源链接。要创建资源链接,委托人需要 Lake Formation CREATE_TABLECREATE_DATABASE权限,以及glue:CreateTableglue:CreateDatabaseIAM权限。

    如果制作者账户与同一主体或其他主体共享同一数据库下的不同表,则该主体立即可以查询该表。

注意

对于数据湖管理员和数据湖管理员已向其授予权限的主体,共享资源在数据目录中显示为本地(自有)资源。提取、转换和加载 (ETL) 作业可以访问共享资源的底层数据。

对于共享资源,Lake Formation 控制台上的数据库页面会显示所有者的账户 ID。

访问共享资源的底层数据时,将在共享资源接收者的账户和资源所有者的账户中生成 CloudTrail 日志事件。 CloudTrail 事件可以包含访问数据的委托人的事件,但前提是接收者账户选择在日志中包含委托ARN人。ARN有关更多信息,请参阅 跨账户 CloudTrail 日志