Criação de um data lake a partir de uma JDBC fonte no Lake Formation

1. Abra o console do IAM em https://console.aws.amazon.com/iam. Entre como o usuário administrador que você criou Criar um usuário com acesso administrativo ou como um usuário com a política AdministratorAccess AWS gerenciada.

2. Crie um usuário chamado datalake_user com as seguintes configurações:

   • Habilite AWS Management Console o acesso.

   • Defina uma senha e não solicite redefinição de senha.

   • Anexe a política AmazonAthenaFullAccess AWS gerenciada.

   • Anexe a seguinte política em linha. Atribua o nome DatalakeUserBasic à política.

     {
         "Version": "2012-10-17",
         "Statement": [
             {
                 "Effect": "Allow",
                 "Action": [
                     "lakeformation:GetDataAccess",
                     "glue:GetTable",
                     "glue:GetTables",
                     "glue:SearchTables",
                     "glue:GetDatabase",
                     "glue:GetDatabases",
                     "glue:GetPartitions",
                     "lakeformation:GetResourceLFTags",
                     "lakeformation:ListLFTags",
                     "lakeformation:GetLFTag",
                     "lakeformation:SearchTablesByLFTags",
                     "lakeformation:SearchDatabasesByLFTags"                
                ],
                 "Resource": "*"
             }
         ]
     }

Como criar uma conexão

1. Abra o console do AWS Glue em https://console.aws.amazon.com/glue/ e entre como o usuário administrador que você criou em Criar um usuário com acesso administrativo.

2. No painel de navegação, em Data catalog (catálogo de dados), selecione Connections (Conexões).

3. Na página Connectors (Conectores) escolha Create custom connector (Criar um conector personalizado).

4. Na página de propriedades do conector, insira datalake-tutorial como nome da conexão e escolha JDBCcomo tipo de conexão. Em seguida, escolha Próximo.

5. Continue através do assistente de conexão e salve a conexão.

   Para obter informações sobre como criar uma conexão, consulte as propriedades da AWS Glue JDBC conexão no Guia do AWS Glue desenvolvedor.

1. Abra o console do Amazon S3 em https://console.aws.amazon.com/s3/e faça login como o usuário administrador que você criou. Criar um usuário com acesso administrativo

2. Escolha Create bucket e acesse o assistente para criar um bucket chamado<yourName>-datalake-tutorial, onde <yourName> é seu primeiro nome e sobrenome. Por exemplo: jdoe-datalake-tutorial.

   Para obter instruções detalhadas sobre como criar um bucket do Amazon S3, consulte Como criar um bucket do S3? no Guia do usuário do Amazon Simple Storage Service.

1. Abra o console do Lake Formation em https://console.aws.amazon.com/lakeformation/. Faça login como administrador de data lake.

2. No painel de navegação, em Administração em Locais de data lake.

3. Escolha Registrar localização e, em seguida, escolha Procurar.

4. Selecione o <yourName>-datalake-tutorial bucket que você criou anteriormente, aceite o IAM papel AWSServiceRoleForLakeFormationDataAccess padrão e escolha Registrar localização.

   Para obter mais informações sobre o registro de locais, consulte Adicionar uma localização do Amazon S3 ao seu data lake.

1. No console do Lake Formation, no painel de navegação, em Permissões, escolha Localizações de dados.

2. Escolha Conceder e, na caixa de diálogo Conceder permissões, faça o seguinte:

   1. Para IAMusuário e funções, escolhaLakeFormationWorkflowRole.

   2. Para locais de armazenamento, escolha seu bucket <yourName>-datalake-tutorial.

3. Selecione Conceder.

1. No console do Lake Formation, no painel de navegação, em catálogo de dados, escolha Bancos de dados.

2. Escolha Criar banco de dados e, em Detalhes do banco de dados, insira o nome lakeformation_tutorial.

3. Deixe os outros campos em branco e escolha Criar banco de dados.

1. No console do Lake Formation, no painel de navegação, em Permissões, escolha Permissões do data lake.

2. Escolha Conceder e, na caixa de diálogo Conceder permissões de dados, faça o seguinte:

   1. Em Diretores, para IAMusuário e funções, escolhaLakeFormationWorkflowRole.

   2. Em Tags do LF ou recursos de catálogo, escolha Recursos do catálogo de dados nomeados.

   3. Em Bancos de dados, escolha o banco de dados que você criou anteriormente, lakeformation_tutorial.

   4. Em Permissões do banco de dados, selecione Criar tabela, Alterar e Eliminar, e desmarque Super se estiver selecionado.

3. Selecione Conceder.

1. No console do Lake Formation, no painel de navegação, escolha Esquemas e, em seguida, escolha Usar esquema.

2. Na página Usar um esquema, em Tipo de esquema, escolha Snapshot de banco de dados.

3. Em Fonte de importação, em Conexão de banco de dados, escolha a conexão que você acabou de criar, datalake-tutorial ou escolha uma conexão existente para sua fonte de dados.

4. Em Caminho de dados de origem, insira o caminho do qual ingerir dados, no formulário <database>/<schema>/<table>.

   Você pode substituir o curinga percentual (%) por esquema ou tabela. Para bancos de dados que oferecem suporte a esquemas, insira <database>/<schema>/% para corresponder a todas as tabelas em <schema> dentro <database>. O Oracle Database e o My SQL não oferecem suporte ao esquema no caminho; em vez disso, insira <database>/%. Para o Oracle Database, <database> é o identificador do sistema (SID).

   Por exemplo, se um banco de dados Oracle tiver orcl como seuSID, insira orcl/% para corresponder a todas as tabelas às quais o usuário especificado na JDCB conexão tem acesso.

   Importante

   Este campo diferencia letras maiúsculas de minúsculas.

5. Em Destino de importação, especifique estes parâmetros:

   Bancos de dados de destino	lakeformation_tutorial
   Local de armazenamento de destino	s3://<yourName>-datalake-tutorial
   Formato de dados	(Escolha Parquet ouCSV)

6. Para frequência de importação, escolha Executar sob demanda.

7. Em Opções de importação, especifique estes parâmetros:

   Nome do fluxo de trabalho	lakeformationjdbctest
   IAMpapel	LakeFormationWorkflowRole
   Prefixo da tabela	jdbctest nota Deve estar em letras minúsculas.

8. Escolha Criar e aguarde até que o console informe que o fluxo de trabalho foi criado com sucesso.

   dica

   Você recebeu a seguinte mensagem de erro?

   User: arn:aws:iam::<account-id>:user/<datalake_administrator_user> is not authorized to perform: iam:PassRole on resource:arn:aws:iam::<account-id>:role/LakeFormationWorkflowRole...

   Em caso afirmativo, verifique se você substituiu <account-id> na política em linha para o usuário administrador do data lake com um número de AWS conta válido.

1. No console do Lake Formation, na página Esquemas, selecione o fluxo de trabalho lakeformationjdbctest.

2. Escolha Ações e, em seguida, escolha Iniciar.

3. À medida que o fluxo de trabalho é executado, visualize seu progresso na coluna Status da última execução. Escolha o botão de atualização ocasionalmente.

   O status vai de RUNNING, para Descoberta, para Importação, para. COMPLETED

   Quando o fluxo de trabalho for concluído:

   • O catálogo de dados tem novas tabelas de metadados.

   • Seus dados são ingeridos no data lake.

   Se o fluxo de trabalho falhar, faça o seguinte:

   1. Selecione o fluxo de trabalho. Escolha Ações e Exibir gráfico.

      O fluxo de trabalho é aberto no console do AWS Glue.

   2. Selecione o fluxo de trabalho e escolha a guia Histórico.​

   3. Selecione a execução mais recente e escolha Exibir detalhes da execução.

   4. Selecione um trabalho ou crawler com falha no gráfico dinâmico (runtime) e revise a mensagem de erro. Os nós com falha são vermelhos ou amarelos.

1. No console do Lake Formation, no painel de navegação, em Permissões, escolha Permissões do data lake.

2. Escolha Conceder e, na caixa de diálogo Conceder permissões de dados, faça o seguinte:

   1. Em Diretores, para IAMusuário e funções, escolhadatalake_user.

   2. Em Tags do LF ou recursos de catálogo, escolha Recursos do catálogo de dados nomeados.

   3. Para Bancos de dados, escolha lakeformation_tutorial.

      A lista de Tabelas é preenchida.

   4. Para Tabelas, selecione uma ou mais tabelas da fonte de dados.

   5. Em Permissões de tabela e coluna, escolha Selecionar.

3. Selecione Conceder.

1. Abra o console do Athena em https://console.aws.amazon.com/athena/e faça login como analista de dados, usuário. datalake_user

2. Se necessário, escolha Começar para continuar com o editor de consultas do Athena.

3. Em Data source (Fonte de dados), selecione AwsDataCatalog.

4. Para o Banco de dados, selecione lakeformation_tutorial.

   A lista Tabelas é preenchida.

5. No menu pop-up ao lado de uma das tabelas, escolha Visualizar tabela.

   A consulta é executada e exibe 10 linhas de dados.

Para configurar permissões para executar consultas do Amazon Redshift

1. Abra o IAM console em https://console.aws.amazon.com/iam/. Entre como o usuário administrador que você criou Criar um usuário com acesso administrativo (nome de usuárioAdministrator) ou como um usuário com a política AdministratorAccess AWS gerenciada.

2. No painel de navegação, escolha Policies.

   Se essa for a primeira vez que você escolhe Políticas, a página Bem-vindo às políticas gerenciadas será exibida. Escolha Começar.

3. Escolha Criar política.

4. Escolha a JSONguia.

5. Cole o seguinte documento JSON de política.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "lakeformation:GetDataAccess",
                   "glue:GetTable",
                   "glue:GetTables",
                   "glue:SearchTables",
                   "glue:GetDatabase",
                   "glue:GetDatabases",
                   "glue:GetPartitions",
                   "lakeformation:GetResourceLFTags",
                   "lakeformation:ListLFTags",
                   "lakeformation:GetLFTag",
                   "lakeformation:SearchTablesByLFTags",
                   "lakeformation:SearchDatabasesByLFTags"                
              ],
               "Resource": "*"
           }
       ]
   }

6. Ao terminar, escolha Review (Revisar) para revisar a política. O validador de política indica se há qualquer erro de sintaxe.

7. Na página Revisar política, insira o Nome como RedshiftLakeFormationPolicy na política que você está criando. Insira uma Description (Descrição) (opcional). Revise o Resumo da política para ver as permissões que são concedidas pela política. Em seguida, escolha Criar política para salvar seu trabalho.

8. No painel de navegação do IAM console, escolha Funções e, em seguida, escolha Criar função.

9. Em Select trusted entity (Selecionar entidade confiável), escolha AWS Service (Serviço).

10. Escolha o serviço do Amazon Redshift para assumir essa função.

11. Escolha o caso de uso Redshift Customizable (Personalizável pelo Redshift) para o serviço. Então, escolha Próximo: Permissões.

12. Procure a política de permissões que você criou, RedshiftLakeFormationPolicy e marque a caixa de seleção ao lado do nome da política na lista.

13. Escolha Próximo: etiquetas.

14. Selecione Next: Review (Próximo: revisar).

15. Em Role name (Nome da função), insira o nome RedshiftLakeFormationRole.

16. (Opcional) Em Descrição do perfil, insira uma descrição para o novo perfil.

17. Reveja a função e escolha Criar função.

Para conceder permissões Select na tabela a ser consultada no banco de dados do Lake Formation

1. Abra o console do Lake Formation em https://console.aws.amazon.com/lakeformation/. Faça login como administrador de data lake.

2. No painel de navegação, em Permissões, escolha Permissões do Data Lake e, em seguida, escolha Conceder.

3. Forneça as informações a seguir:

   • Para IAMusuários e funções, escolha a IAM função que você criou,RedshiftLakeFormationRole. Quando você executa o Amazon Redshift Query Editor, ele usa essa IAM função para obter permissão para os dados.

   • Para o Banco de dados, selecione lakeformation_tutorial.

     A lista de tabelas é preenchida.

   • Em Tabela, escolha uma tabela na fonte de dados a ser consultada.

   • Escolha a permissão Selecionar tabela.

4. Selecione Conceder.

Para configurar o Amazon Redshift Spectrum e executar consultas

1. Abra o console do Amazon Redshift em https://console.aws.amazon.com/redshift. Faça login como usuário Administrator.

2. Selecione Criar cluster.

3. Na página Criar cluster, insira redshift-lakeformation-demo o Identificador do cluster.

4. Para o Tipo de nó, selecione dc2.large.

5. Role para baixo e, em Configurações do banco de dados, insira ou aceite estes parâmetros:

   • Nome de usuário administrador: awsuser

   • Senha do usuário administrador: (Choose a password)

6. Expanda as permissões do cluster e, em IAM Funções disponíveis, escolha RedshiftLakeFormationRole. Em seguida, escolha Adicionar IAM função.

7. Se você precisar usar uma porta diferente do valor padrão de 5439, ao lado de Configurações adicionais, desative a opção Usar padrões. Expanda a seção Configurações do banco de dados e, em seguida, insira um novo número de Porta do banco de dados.

8. Selecione Criar cluster.

   A página Clusters é carregada.

9. Espere até que o status do cluster se torne Disponível. Escolha o ícone de atualização periodicamente.

10. Conceda permissão ao analista de dados para executar consultas no cluster. Para fazer isso, execute as etapas a seguir:

    1. Abra o IAM console em https://console.aws.amazon.com/iam/e faça login como Administrator usuário.

    2. No painel de navegação, escolha Usuários e anexe as seguintes políticas gerenciadas ao usuário datalake_user.

       • AmazonRedshiftQueryEditor

       • AmazonRedshiftReadOnlyAccess

11. Saia do console do Amazon Redshift e entre novamente como usuário datalake_user.

12. Na barra de ferramentas vertical esquerda, escolha o EDITORícone para abrir o editor de consultas e conectar-se ao cluster. Se a caixa de diálogo Conectar ao banco de dados for exibida, escolha o nome do cluster redshift-lakeformation-demo e insira o nome do banco de dados dev, o nome do usuário awsuser e a senha que você criou. Então escolha Connect to database (Conectar-se ao banco de dados).

    nota

    Se os parâmetros de conexão não forem solicitados e outro cluster já estiver selecionado no editor de consultas, escolha Alterar conexão para abrir a caixa de diálogo Conectar ao banco de dados.

13. Na caixa de texto Nova consulta 1, insira e execute a seguinte instrução para mapear o banco de dados lakeformation_tutorial no Lake Formation para o nome do esquema Amazon Redshift redshift_jdbc:

    Importante

    Substituir <account-id> com um número de AWS conta válido e <region> com um nome de AWS região válido (por exemplo,us-east-1).

    create external schema if not exists redshift_jdbc from DATA CATALOG database 'lakeformation_tutorial' iam_role 'arn:aws:iam::<account-id>:role/RedshiftLakeFormationRole' region '<region>';

14. Na lista de esquemas, em Selecionar esquema, escolha redshift_jdbc.

    A lista de tabelas é preenchida. O editor de consultas mostra somente as tabelas nas quais você recebeu permissões de data lake do Lake Formation.

15. No menu pop-up ao lado do nome da tabela, escolha Visualizar dados.

    O Amazon Redshift retorna as 10 primeiras linhas.

    Agora você pode executar consultas nas tabelas e colunas para as quais você tem permissões.