Atualizar as permissões AWS Glue de dados para o modelo AWS Lake Formation

Permissões AWS Lake Formation garantem controle de acesso para dados em seu data lake. Você pode usar o modelo de permissões do Lake Formation para gerenciar seus locais de dados e objetos do AWS Glue Data Catalog existentes no Amazon Simple Storage Service (Amazon S3).

O modelo de permissões do Lake Formation usa permissões granulares do AWS Identity and Access Management (IAM) para acesso ao serviço de API. O Lake Formation usa a funcionalidade Filtragem de dados e segurança por célula no Lake Formation para restringir o acesso à tabela em nível de coluna, linha e célula para os usuários e as respectivas aplicações. Em comparação, o modelo do AWS Glue concede acesso aos dados por meio de políticas do IAM baseadas em identidade e recursos.

Para fazer a troca, siga as etapas deste guia.

Para ter mais informações, consulte Visão geral das permissões do Lake Formation .

Sobre permissões padrão

Para manter a compatibilidade com versões anteriores do AWS Glue, por padrão, o AWS Lake Formation concede a permissão Super ao grupo IAMAllowedPrincipals em todos os recursos do AWS Glue existentes do catálogo de dados e concede a permissão Super em novos recursos do catálogo de dados se as configurações de controle de acesso usando apenas IAM estiverem ativadas. Isso efetivamente faz com que o acesso aos recursos do catálogo de dados e aos locais do Amazon S3 seja controlado exclusivamente pelas políticas do AWS Identity and Access Management (IAM). O grupo IAMAllowedPrincipals inclui todos os usuários e funções do IAM que têm permissão para acessar seus objetos do catálogo de dados por meio de suas políticas do IAM. A permissão Super possibilita que uma entidade principal execute todas as operações suportadas do Lake Formation no banco de dados ou na tabela em que ela foi concedida.

Você pode começar a usar o Lake Formation para gerenciar o acesso aos seus dados registrando os locais dos recursos existentes do catálogo de dados no Lake Formation ou usando o modo de acesso híbrido. Ao registrar a localização do Amazon S3 no modo de acesso híbrido, você pode habilitar as permissões do Lake Formation optando por entidades principais para bancos de dados e tabelas nesse local.

Para facilitar a transição das permissões do data lake de um modelo do IAM e do Amazon S3 para as permissões do Lake Formation, recomendamos que você use o modo de acesso híbrido para o catálogo de dados. Com o modo de acesso híbrido, você tem um caminho incremental em que pode habilitar as permissões do Lake Formation para um conjunto específico de usuários sem interromper outros usuários ou workloads existentes.

Para ter mais informações, consulte Modo de acesso híbrido.

Desative as configurações padrão do catálogo de dados para transferir todos os usuários existentes de uma tabela para o Lake Formation em uma única etapa.

Para começar a usar as permissões do Lake Formation com bancos de dados e tabelas do catálogo de dados do AWS Glue existentes, você deve fazer o seguinte:

Siga as etapas desta seção para atualizar para o modelo de permissões do Lake Formation.

Etapa 1: listar as permissões existentes dos usuários e das funções

Para começar a usar permissões do AWS Lake Formation com tabelas e bancos de dados do AWS Glue existentes, você deve primeiro determinar as permissões existentes dos seus usuários.

Usar a operação da API

Use a operação da API ListPoliciesGrantingServiceAccess do AWS Identity and Access Management (IAM) para determinar as políticas do IAM anexadas a cada entidade principal (usuário ou função). A partir das políticas retornadas nos resultados, você pode determinar as permissões do IAM que são concedidas à entidade principal. Você deve invocar a API para cada entidade principal separadamente.

aws iam list-policies-granting-service-access --arn arn:aws:iam::111122223333:user/glue_user1 --service-namespaces glue

{
    "PoliciesGrantingServiceAccess": [
        {
            "ServiceNamespace": "glue",
            "Policies": [
                {
                    "PolicyType": "INLINE",
                    "PolicyName": "GlueUserBasic",
                    "EntityName": "glue_user1",
                    "EntityType": "USER"
                },
                {
                    "PolicyType": "MANAGED",
                    "PolicyArn": "arn:aws:iam::aws:policy/AmazonAthenaFullAccess",
                    "PolicyName": "AmazonAthenaFullAccess"
                }
            ]
        }
    ],
    "IsTruncated": false
}

Uso do AWS Management Console

Você também pode ver essas informações no console do AWS Identity and Access Management (IAM), na guia Acessar o advisor na página Resumo do usuário ou da função:

Utilizar o AWS CloudTrail

Outra forma de determinar suas permissões existentes é procurar no AWS CloudTrail por chamadas de API do AWS Glue, em que o campo additionaleventdata dos logs contém uma entrada insufficientLakeFormationPermissions. Essa entrada lista o banco de dados e a tabela nos quais o usuário precisa das permissões do Lake Formation para realizar a mesma ação.

Esses são logs de acesso a dados, portanto, não é garantido que produzam uma lista abrangente de usuários e suas permissões. Recomendamos escolher um intervalo de tempo amplo para capturar a maioria dos padrões de acesso aos dados de seus usuários, por exemplo, várias semanas ou meses.

Para obter mais informações, consulte Visualizar eventos com o histórico de eventos CloudTrail no Guia do usuário do AWS CloudTrail.

Em seguida, você pode configurar as permissões do Lake Formation de acordo com as permissões do AWS Glue. Consulte Etapa 2: configurar permissões equivalentes do Lake Formation.

Etapa 2: configurar permissões equivalentes do Lake Formation

Ao usar as informações coletadas em Etapa 1: listar as permissões existentes dos usuários e das funções, conceda permissões do AWS Lake Formation que correspondam às permissões do AWS Glue. Use qualquer um dos métodos a seguir para realizar as concessões:

Para ter mais informações, consulte Visão geral das permissões do Lake Formation .

Depois de configurar as permissões do Lake Formation, siga para a Etapa 3: conceder aos usuários permissões do IAM para usar o Lake Formation.

Etapa 3: conceder aos usuários permissões do IAM para usar o Lake Formation

Para usar o modelo de permissões do AWS Lake Formation, as entidades principais devem ter permissões do AWS Identity and Access Management (IAM) nas APIs do Lake Formation.

Crie a política a seguir no IAM e a anexe a todos os usuários que precisam acessar seu data lake. Atribua o nome LakeFormationDataAccess à política.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "LakeFormationDataAccess",
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess"
            ],
            "Resource": "*"
        }
    ]
}

Em seguida, atualize para as permissões do Lake Formation, um local de dados por vez. Consulte Etapa 4: mude seus armazenamentos de dados para o modelo de permissões do Lake Formation.

Etapa 4: mude seus armazenamentos de dados para o modelo de permissões do Lake Formation

Atualize para as permissões do Lake Formation, um local de dados por vez. Para isso, repita essa seção inteira até ter registrado todos os caminhos do Amazon Simple Storage Service (Amazon S3) referenciados pelo catálogo de dados.

Verifique permissões do Lake Formation

Antes de registrar um local, execute uma etapa de verificação para garantir que as entidades principais corretas tenham as permissões necessárias para o Lake Formation e que nenhuma permissão para o Lake Formation seja concedida às entidades principais que não deveriam tê-las. Ao usar a operação da API GetEffectivePermissionsForPath do Lake Formation, identifique os recursos do catálogo de dados que fazem referência à localização do Amazon S3, junto com as entidades principais que têm permissões sobre esses recursos.

A AWS CLI de exemplo a seguir retorna os bancos de dados e tabelas do catálogo de dados que fazem referência a products do bucket do Amazon S3.

aws lakeformation get-effective-permissions-for-path --resource-arn arn:aws:s3:::products --profile datalake_admin

Observe a opção profile. Recomendamos que você execute o comando como administrador do data lake.

A seguir está um trecho dos resultados retornados.

{
        "PermissionsWithGrantOption": [
            "SELECT"
        ],
        "Resource": {
            "TableWithColumns": {
                "Name": "inventory_product",
                "ColumnWildcard": {},
                "DatabaseName": "inventory"
            }
        },
        "Permissions": [
            "SELECT"
        ],
        "Principal": {
            "DataLakePrincipalIdentifier": "arn:aws:iam::111122223333:user/datalake_user1",
            "DataLakePrincipalType": "IAM_USER"
        }
 },...
 

Proteja os recursos existentes do catálogo de dados

Em seguida, revogue a permissão Super de cada tabela e banco de dados IAMAllowedPrincipals que você identificou para o local.

Ative as permissões do Lake Formation para sua localização no Amazon S3

Em seguida, registre o local do Amazon S3 com o Lake Formation. Para isso, você pode usar o processo descrito em Adicionar uma localização do Amazon S3 ao seu data lake. Ou utilize a operação da API RegisterResource, conforme descrito em APIs de fornecimento de credenciais.

Depois de concluir essas etapas e testar se seus usuários podem acessar seus dados, você atualizou com sucesso para as permissões do Lake Formation. Continue na próxima etapa, Etapa 5: proteja os novos recursos do catálogo de dados.

Etapa 5: proteja os novos recursos do catálogo de dados

Em seguida, assegure todos os novos recursos do catálogo de dados alterando as configurações padrão do catálogo de dados. Desative as opções de usar somente o controle de acesso do AWS Identity and Access Management (IAM) para novos bancos de dados e tabelas.

A próxima etapa é conceder aos usuários acesso a bancos de dados ou tabelas adicionais no futuro. Consulte Etapa 6: fornecer aos usuários uma nova política do IAM para acesso futuro ao data lake.

Etapa 6: fornecer aos usuários uma nova política do IAM para acesso futuro ao data lake

Para conceder aos seus usuários acesso a bancos de dados ou tabelas adicionais do Data Catalog no futuro, você deve fornecer a eles a política em linha de granularidade geral do AWS Identity and Access Management (IAM) que segue. Atribua o nome GlueFullReadAccess à política.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "GlueFullReadAccess",
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess",
                "glue:GetTable",
                "glue:GetTables",
                "glue:SearchTables",
                "glue:GetDatabase",
                "glue:GetDatabases",
                "glue:GetPartitions"
            ],
            "Resource": "*"
        }
    ]
}
	

Em seguida, prossiga para a Etapa 7: limpar políticas do IAM existentes.

Etapa 7: limpar políticas do IAM existentes

Depois de configurar as permissões do AWS Lake Formation e criar e anexar as políticas gerais de controle de acesso do AWS Identity and Access Management (IAM), conclua a seguinte etapa final:

Ao fazer isso, você garante que essas entidades principais não tenham mais acesso direto aos dados no Amazon Simple Storage Service (Amazon S3). Em seguida, você pode gerenciar o acesso dessas entidades principais ao data lake inteiramente por meio do Lake Formation.