Upgrading AWS GlueAWS Lake Formation 模型的数据权限

AWS Lake Formation 权限可对数据湖中的数据进行精细的访问控制。您可以使用 Lake Formation 权限模型来管理亚马逊简单存储服务 (Amazon S3) 中的现有 AWS Glue Data Catalog 对象和数据位置。

Lake Formation 权限模型使用粗粒度 AWS Identity and Access Management (IAM) 权限来访问服务。APILake Lake Formation 中的数据筛选和单元格级别安全性 Formation 使用 fctionality 来限制用户及其应用程序在列、行和单元格级别的表访问权限。相比之下，AWS Glue model 通过基于身份和基于资源的IAM策略授予数据访问权限。

要切换模型，请按照本指南中的步骤操作。

有关更多信息，请参阅 Lake Formation 权限概述 。

关于默认权限

保持向后兼容 AWS Glue，默认情况下， AWS Lake Formation 向该IAMAllowedPrincipals群组授予对所有现有内容的Super权限 AWS Glue 数据目录资源，如果启用了 “仅使用” IAM 访问控制设置，则授予对新数据目录资源的Super权限。这实际上导致对数据目录资源和 Amazon S3 位置的访问只能由 AWS Identity and Access Management (IAM) 策略控制。该IAMAllowedPrincipals组包括您的IAM策略允许访问您的数据目录对象的所有IAM用户和角色。Super 权限使主体能够对被授予该权限的数据库或表执行所有支持的 Lake Formation 操作。

您可以通过在 Lake Formation 中注册现有数据目录资源的位置或使用混合访问模式，开始使用 Lake Formation 来管理对数据的访问。当您在混合访问模式下注册 Amazon S3 位置时，您可以通过选择该位置下的数据库和表的主体来启用 Lake Formation 权限。

为了简化数据湖权限从IAM和 Amazon S3 模式向 Lake Formation 权限的过渡，我们建议您对数据目录使用混合访问模式。在混合访问模式下，您现在有了增量路径，允许您为一组特定的用户启用 Lake Formation 权限，而不会中断其他现有用户或工作负载。

有关更多信息，请参阅 混合访问模式。

禁用默认数据目录设置，只需一步即可将表的所有现有用户移至 Lake Formation。

要开始在现有权限中使用 Lake Formation 权限 AWS Glue 数据目录数据库和表，您必须执行以下操作：

按照本部分中的步骤升级为 Lake Formation 权限模型。

步骤 1：列出用户和角色的现有权限

要开始使用现有 AWS Lake Formation 权限 AWS Glue 数据库和表，则必须首先确定用户的现有权限。

使用该API操作

使用 AWS Identity and Access Management (IAM) ListPoliciesGrantingServiceAccessAPI操作来确定附加到每个委托人（用户或角色）的IAM策略。根据结果中返回的策略，您可以确定授予委托人的IAM权限。您必须分别API为每位委托人调用。

aws iam list-policies-granting-service-access --arn arn:aws:iam::111122223333:user/glue_user1 --service-namespaces glue

{
    "PoliciesGrantingServiceAccess": [
        {
            "ServiceNamespace": "glue",
            "Policies": [
                {
                    "PolicyType": "INLINE",
                    "PolicyName": "GlueUserBasic",
                    "EntityName": "glue_user1",
                    "EntityType": "USER"
                },
                {
                    "PolicyType": "MANAGED",
                    "PolicyArn": "arn:aws:iam::aws:policy/AmazonAthenaFullAccess",
                    "PolicyName": "AmazonAthenaFullAccess"
                }
            ]
        }
    ],
    "IsTruncated": false
}

使用 AWS Management Console

您还可以在 AWS Identity and Access Management (IAM) 控制台的用户或角色摘要页面的 Access Advisor 选项卡中查看以下信息：

使用 AWS CloudTrail

确定现有权限的另一种方法是查找 AWS CloudTrail AWS Glue API在日志additionaleventdata字段包含insufficientLakeFormationPermissions条目的位置调用。此条目列出了用户需要对其具有 Lake Formation 权限才能执行相同操作的数据库和表。

这些是数据访问日志，因此不能保证它们会生成用户及其权限的完整列表。我们建议选择较宽的时间范围来捕获大多数用户的数据访问模式，例如几周或几个月。

有关更多信息，请参阅《AWS CloudTrail 用户指南》中的使用 CloudTrail 事件历史记录查看事件。

接下来，你可以设置 Lake Formation 权限以匹配 AWS Glue 权限。请参阅 步骤 2：设置等效的 Lake Formation 权限。

步骤 2：设置等效的 Lake Formation 权限

使用中收集的信息步骤 1：列出用户和角色的现有权限，授予与之匹配的 AWS Lake Formation 权限 AWS Glue 权限。使用以下任一方法进行授予：

有关更多信息，请参阅 Lake Formation 权限概述 。

设置 Lake Formation 权限后，继续执行第 3 步：向用户IAM授予使用 Lake Formation 的权限。

第 3 步：向用户IAM授予使用 Lake Formation 的权限

要使用 AWS Lake Formation 权限模型，委托人必须拥有 Lake Formation 的 AWS Identity and Access Management (IAM) 权限。APIs

在中创建以下策略，IAM并将其附加到需要访问您的数据湖的每位用户。将该策略命名为 LakeFormationDataAccess。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "LakeFormationDataAccess",
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess"
            ],
            "Resource": "*"
        }
    ]
}

接下来，升级为 Lake Formation 权限，一次升级一个数据位置。请参阅 步骤 4：将数据存储切换到 Lake Formation 权限模型。

步骤 4：将数据存储切换到 Lake Formation 权限模型

升级为 Lake Formation 权限，一次升级一个数据位置。为此，请重复整个部分，直到您注册了数据目录引用的所有 Amazon Simple Storage Service (Amazon S3) 路径。

验证 Lake Formation 权限

在注册位置之前，请执行验证步骤，以确保正确的主体具有所需的 Lake Formation 权限，并且不会向不应具有 Lake Formation 权限的主体授予任何这些权限。使用 Lake Formation GetEffectivePermissionsForPath API 操作，识别引用 Amazon S3 位置的数据目录资源，以及对这些资源拥有权限的委托人。

以下 AWS CLI 示例返回引用 Amazon S3 存储桶的数据目录数据库和表products。

aws lakeformation get-effective-permissions-for-path --resource-arn arn:aws:s3:::products --profile datalake_admin

请注意 profile 选项。我们建议您以数据湖管理员身份运行该命令。

以下是返回结果的摘录。

{
        "PermissionsWithGrantOption": [
            "SELECT"
        ],
        "Resource": {
            "TableWithColumns": {
                "Name": "inventory_product",
                "ColumnWildcard": {},
                "DatabaseName": "inventory"
            }
        },
        "Permissions": [
            "SELECT"
        ],
        "Principal": {
            "DataLakePrincipalIdentifier": "arn:aws:iam::111122223333:user/datalake_user1",
            "DataLakePrincipalType": "IAM_USER"
        }
 },...
 

保护现有数据目录资源

接下来，撤销 IAMAllowedPrincipals 对您为该位置标识的每个表和数据库具有的 Super 权限。

为您的 Amazon S3 位置启用 Lake Formation 权限

接下来，向 Lake Formation 注册 Amazon S3 位置。为此，您可以使用向数据湖添加 Amazon S3 位置中所述的过程。或者，使用中所述的RegisterResourceAPI操作凭证售卖 API。

完成这些步骤并测试用户是否可以访问其数据后，您即已成功升级为 Lake Formation 权限。继续执行下一步：步骤 5：保护新的数据目录资源。

步骤 5：保护新的数据目录资源

接下来，通过更改默认数据目录设置来保护所有新的数据目录资源。关闭选项以仅对新数据库和表使用 AWS Identity and Access Management (IAM) 访问控制。

下一步是向用户授予将来访问其他数据库或表的权限。请参阅 第 6 步：为用户提供新的未来数据湖访问IAM策略。

第 6 步：为用户提供新的未来数据湖访问IAM策略

要向您的用户授予将来访问其他 Data Catalog 数据库或表的权限，您必须为他们提供以下粗粒度 AWS Identity and Access Management (IAM) 内联策略。将该策略命名为 GlueFullReadAccess。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "GlueFullReadAccess",
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess",
                "glue:GetTable",
                "glue:GetTables",
                "glue:SearchTables",
                "glue:GetDatabase",
                "glue:GetDatabases",
                "glue:GetPartitions"
            ],
            "Resource": "*"
        }
    ]
}
	

接下来继续执行步骤 7：清理现有IAM策略。

步骤 7：清理现有IAM策略

设置 AWS Lake Formation 权限并创建和附加粗粒度访问控制 AWS Identity and Access Management (IAM) 策略后，完成以下最后一步：

这样，您可以确保这些主体不再能够直接访问 Amazon Simple Storage Service (Amazon S3) 中的数据。然后，您可以完全通过 Lake Formation 管理这些主体的数据湖访问权限。