Configurar AWS Lake Formation

1. Faça login no AWS CloudFormation console em https://console.aws.amazon.com/cloudformation como IAM administrador na região Leste dos EUA (Norte da Virgínia).

2. Selecione Iniciar Pilha.

3. Na página Criar pilha, selecione Avançar.

4. Digite um Nome de pilha.

5. Para DatalakeAdminNamee DatalakeAdminPassword, insira seu nome de usuário e senha para o usuário administrador do data lake.

6. Para DatalakeUser1Name e DatalakeUser1Password, digite seu nome de usuário e senha para o usuário do data lake analyst.

7. Para DataLakeBucketName, insira o nome do novo bucket que será criado.

8. Escolha Próximo.

9. Na página seguinte, selecione Avançar.

10. Analise os detalhes na página final e selecione Eu reconheço que isso AWS CloudFormation pode criar IAM recursos.

11. Escolha Criar.

    A criação da pilha pode levar até dois minutos.

Limpar os recursos

Se você quiser limpar os recursos da AWS CloudFormation pilha:

1. Cancele o registro do bucket do Amazon S3 que sua pilha criou e registrou como um local de data lake.

2. Exclua a AWS CloudFormation pilha. Isso excluirá todos os recursos criados pela pilha.

Como criar um administrador de data lake (console)

1. Se o usuário que será administrador do data lake ainda não existir, use o IAM console para criá-lo. Caso contrário, selecione um usuário existente que será o administrador do data lake.

   nota

   Recomendamos que você não selecione um usuário IAM administrativo (usuário com a política AdministratorAccess AWS gerenciada) para ser o administrador do data lake.

   Anexe as seguintes políticas AWS gerenciadas ao usuário:

   Políticas	Obrigatório?	Observações
   AWSLakeFormationDataAdmin	Obrigatório	Permissões básicas do administrador do data lake. Essa política AWS gerenciada contém uma negação explícita da API operação Lake Formation, PutDataLakeSetting que impede que os usuários criem novos administradores de data lake.
   AWSGlueConsoleFullAccess, CloudWatchLogsReadOnlyAccess	Opcional	Anexe essas políticas se o administrador do data lake estiver solucionando problemas de fluxos de trabalho criados a partir dos esquemas do Lake Formation. Essas políticas permitem que o administrador do data lake visualize as informações de solução de problemas no AWS Glue console e o Amazon CloudWatch Logs console. Para obter informações sobre fluxos de trabalho, consulte Importação de dados usando fluxos de trabalho no Lake Formation.
   AWSLakeFormationCrossAccountManager	Opcional	Anexe esta política para permitir que o administrador do data lake conceda e revogue permissões entre contas nos recursos do catálogo de dados. Para obter mais informações, consulte Compartilhamento de dados entre contas no Lake Formation.
   AmazonAthenaFullAccess	Opcional	Anexe essa política se o administrador do data lake estiver executando consultas em Amazon Athena.

2. Anexe a seguinte política em linha, que concede ao administrador do data lake permissão para criar o perfil vinculado ao serviço do Lake Formation. O nome sugerido para a política é LakeFormationSLR.

   O perfil vinculado ao serviço permite que o administrador do data lake registre com mais facilidade o local do Amazon S3 no Lake Formation. Para obter mais informações sobre o perfil vinculado ao serviço Lake Formation, consulte Usar perfis vinculados ao serviço para o Lake Formation.

   Importante

   Em todas as políticas a seguir, substitua <account-id> com um número de AWS conta válido.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": "iam:CreateServiceLinkedRole",
               "Resource": "*",
               "Condition": {
                   "StringEquals": {
                       "iam:AWSServiceName": "lakeformation.amazonaws.com"
                   }
               }
           },
           {
               "Effect": "Allow",
               "Action": [
                   "iam:PutRolePolicy"
               ],
               "Resource": "arn:aws:iam::<account-id>:role/aws-service-role/lakeformation.amazonaws.com/AWSServiceRoleForLakeFormationDataAccess"
           }
       ]
   }
   

3. (Opcional) Anexe a seguinte política em linha ao usuário PassRole. Essa política permite que o administrador do data lake crie e execute fluxos de trabalho. A permissão iam:PassRole permite que o fluxo de trabalho assuma o perfil LakeFormationWorkflowRole para criar crawlers e trabalhos, e anexe o perfil aos crawlers e trabalhos criados. O nome sugerido para a política é UserPassRole.

   Importante

   Substituir <account-id> com um número de AWS conta válido.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "PassRolePermissions",
               "Effect": "Allow",
               "Action": [
                   "iam:PassRole"
               ],
               "Resource": [
                   "arn:aws:iam::<account-id>:role/LakeFormationWorkflowRole"
               ]
           }
       ]
   }

4. (Opcional) Anexe essa política adicional em linha se sua conta estiver concedendo ou recebendo permissões entre contas do Lake Formation. Essa política permite que o administrador do data lake visualize e aceite AWS Resource Access Manager (AWS RAM) convites de compartilhamento de recursos. Além disso, para administradores de data lake na conta AWS Organizations de gerenciamento, a política inclui uma permissão para permitir concessões entre contas para organizações. Para obter mais informações, consulte Compartilhamento de dados entre contas no Lake Formation.

   O nome sugerido para a política é RAMAccess.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "ram:AcceptResourceShareInvitation",
                   "ram:RejectResourceShareInvitation",
                   "ec2:DescribeAvailabilityZones",
                   "ram:EnableSharingWithAwsOrganization"
               ],
               "Resource": "*"
           }
       ]
   }

5. Abra o AWS Lake Formation console em https://console.aws.amazon.com/lakeformation/e faça login como o usuário administrador que você criou Criar um usuário com acesso administrativo ou como um usuário com política AWS gerenciada pelo AdministratorAccess usuário.

6. Se a janela Welcome to Lake Formation for exibida, escolha o IAM usuário que você criou ou selecionou na Etapa 1 e, em seguida, escolha Começar.

7. Se você não vir a janela de Boas-vindas ao Lake Formation, execute as etapas a seguir para configurar um administrador do Lake Formation.

   1. No painel de navegação, em Administradores, selecione Perfis e tarefas administrativas. Na seção Administradores do Data Lake da página do console, selecione Adicionar.

   2. Na caixa de diálogo Adicionar administradores, em Tipo de Acesso, selecione Administrador do Data Lake.

   3. Para IAMusuários e funções, escolha o IAM usuário que você criou ou selecionou na Etapa 1 e escolha Salvar.

Para alterar as configurações padrão do catálogo de dados

1. Continue no console do Lake Formation em https://console.aws.amazon.com/lakeformation/. Certifique-se de estar conectado como o usuário administrador que você criou Criar um usuário com acesso administrativo ou como um usuário com a política AdministratorAccess AWS gerenciada.

2. Modificar as configurações do catálogo de dados:

   1. No painel de navegação, em Administração, selecione Configurações do catálogo de dados.

   2. Desmarque as duas caixas de seleção e selecione Salvar.

      

3. Revogar a permissão IAMAllowedPrincipals para criadores de banco de dados.

   1. No painel de navegação, em Administração, selecione Perfis e tarefas administrativas.

   2. Na página do console de Perfis e tarefas administrativas, na seção Criadores de banco de dados, selecione o grupo IAMAllowedPrincipals, e selecione Revogar.

      A caixa de diálogo Revogar permissões é exibida, mostrando que IAMAllowedPrincipals tem a permissão para Criar banco de dados.

   3. Selecione Revogar.

Como anexar permissões a um usuário não administrador para acessar os dados do Lake Formation

1. Abra o IAM console em https://console.aws.amazon.com/iam e faça login como um usuário administrador que você criou Criar um usuário com acesso administrativo ou como um usuário com a política AdministratorAccess AWS gerenciada.

2. Selecione Usuários ou Grupos de usuários.

3. Na lista, selecione o nome do usuário ou do grupo ao qual deseja incorporar uma política.

   Selecione Permissões.

4. Selecione Adicionar permissões e selecione Anexar políticas diretamente. Digite Athena no campo de texto Políticas de filtro. Na lista de resultados, marque a caixa de seleção AmazonAthenaFullAccess.

5. Selecione o botão Criar política. Na página Criar política, escolha a JSONguia. Copie e cole o código a seguir no editor de políticas.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "lakeformation:GetDataAccess",
                   "glue:GetTable",
                   "glue:GetTables",
                   "glue:SearchTables",
                   "glue:GetDatabase",
                   "glue:GetDatabases",
                   "glue:GetPartitions",
                   "lakeformation:GetResourceLFTags",
                   "lakeformation:ListLFTags",
                   "lakeformation:GetLFTag",
                   "lakeformation:SearchTablesByLFTags",
                   "lakeformation:SearchDatabasesByLFTags"
               ],
               "Resource": "*"
           }
       ]
   }

6. Selecione o botão Avançar na parte inferior até ver a página Revisar política. Digite um nome para a política, por exemplo, DatalakeUserBasic. Selecione Criar política e feche a guia Políticas ou a janela do navegador.

Para optar por permitir que mecanismos de terceiros acessem e filtrem dados (console)

1. Continue no console do Lake Formation em https://console.aws.amazon.com/lakeformation/. Certifique-se de estar registrado como diretor com IAM permissão para a PutDataLakeSettings API operação do Lake Formation. O usuário IAM administrador que você criou em Inscreva-se para um Conta da AWS tem essa permissão.

2. No painel de navegação, em Administração, selecione Configurações de integração de aplicativos.

3. Na página Configurações de integração de aplicativos, faça o seguinte:

   1. Marque a caixa Permitir que mecanismos externos filtrem dados em locais do Amazon S3 registrados no Lake Formation.

   2. Digite os Valores da tag de sessão definidos para mecanismos de terceiros.

   3. IDsEm AWS conta, insira a conta IDs de onde mecanismos de terceiros podem acessar locais registrados no Lake Formation. Pressione Enter após cada ID da conta.

   4. Selecione Salvar.

Para criar uma IAM função para fluxos de trabalho

1. Abra o IAM console em https://console.aws.amazon.com/iam e faça login como o usuário administrador que você criou Criar um usuário com acesso administrativo ou como usuário com a política AdministratorAccess AWS gerenciada.

2. No painel de navegação, selecione Perfis e depois Criar perfil.

3. Na página Criar perfil, selecione Serviço da AWS e, em seguida, selecione Glue. Escolha Próximo.

4. Na página Adicionar permissões, pesquise a política AWSGlueServiceRolegerenciada e marque a caixa de seleção ao lado do nome da política na lista. Em seguida, conclua o assistente de Criação de perfil, nomeando o perfilLFWorkflowRole. Para finalizar, selecione Criar perfil.

5. Na página Perfis, procure seu perfil por LFflowRole e selecione o perfil.

6. Na página Resumo do perfil, na guia Permissões, selecione Adicionar política em linha. Na tela Criar política, navegue até a JSON guia e adicione a seguinte política embutida. O nome sugerido para a política é LakeFormationWorkflow.

   Importante

   Na política a seguir, substitua <account-id> com um Conta da AWS número válido.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                    "lakeformation:GetDataAccess",
                    "lakeformation:GrantPermissions"
                ],
               "Resource": "*"
           },
           {
               "Effect": "Allow",
               "Action": ["iam:PassRole"],
               "Resource": [
                   "arn:aws:iam::<account-id>:role/LakeFormationWorkflowRole"
               ]
           }
       ]
   }

   Seguem breves descrições das permissões nesta política:

   • lakeformation:GetDataAccess permite que trabalhos criados pelo fluxo de trabalho sejam gravados no local de destino.

   • lakeformation:GrantPermissions permite que o fluxo de trabalho conceda a SELECT permissão nas tabelas de destino.

   • iam:PassRole permite que o serviço assuma o perfil de LakeFormationWorkflowRole para criar crawlers e trabalhos (instâncias de fluxos de trabalho) e anexe o perfil aos crawlers e trabalhos criados.

7. Verifique se o perfil LakeFormationWorkflowRole tem duas políticas anexadas.

8. Se você estiver ingerindo dados fora do local do data lake, adicione uma política em linha que conceda permissões para ler os dados de origem.