Usar tabelas do Amazon S3 com serviços de analytics da AWS

1. Abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

2. No painel de navegação à esquerda, escolha Buckets de tabela.

3. Escolha Criar bucket de tabela.

   A página Criar bucket de tabela é aberta.

4. Insira um Nome do bucket de tabela e marque a caixa de seleção Habilitar integração.

5. Escolha Criar bucket de tabela. O Amazon S3 tentará integrar automaticamente os buckets de tabela nessa região.

Como integrar buckets de tabela usando a AWS CLI

As etapas a seguir mostram como usar a AWS CLI para integrar buckets de tabela. Para usar essas etapas, substitua user input placeholders por suas próprias informações.

1. Crie um bucket de tabela.

   aws s3tables create-table-bucket \
   --region us-east-1 \
   --name amzn-s3-demo-table-bucket

2. Crie um perfil de serviço do IAM que permita que o Lake Formation acesse os recursos de tabela.

   1. Crie um arquivo chamado Role-Trust-Policy.json que contenha a seguinte política de confiança:

      {
          "Version": "2012-10-17",
          "Statement": [
            {
              "Sid": "LakeFormationDataAccessPolicy",
              "Effect": "Allow",
              "Principal": {
                "Service": "lakeformation.amazonaws.com"
              },
              "Action": [
                  "sts:AssumeRole",
                  "sts:SetContext",
                  "sts:SetSourceIdentity"
              ],
              "Condition": {
                "StringEquals": {
                  "aws:SourceAccount": "111122223333"
                }
              }
            }
          ]
      }

      Crie um perfil de serviço do IAM usando o seguinte comando:

      aws iam create-role \
      --role-name S3TablesRoleForLakeFormation \
      --assume-role-policy-document file://Role-Trust-Policy.json                

   2. Crie um arquivo chamado LF-GluePolicy.json que contenha a seguinte política:

      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Sid": "LakeFormationPermissionsForS3ListTableBucket",
                  "Effect": "Allow",
                  "Action": [
                      "s3tables:ListTableBuckets"
                  ],
                  "Resource": [
                      "*"
                  ]
              },
              {
                  "Sid": "LakeFormationDataAccessPermissionsForS3TableBucket",
                  "Effect": "Allow",
                  "Action": [
                      "s3tables:CreateTableBucket",
                      "s3tables:GetTableBucket",
                      "s3tables:CreateNamespace",
                      "s3tables:GetNamespace",
                      "s3tables:ListNamespaces",
                      "s3tables:DeleteNamespace",
                      "s3tables:DeleteTableBucket",
                      "s3tables:CreateTable",
                      "s3tables:DeleteTable",
                      "s3tables:GetTable",
                      "s3tables:ListTables",
                      "s3tables:RenameTable",
                      "s3tables:UpdateTableMetadataLocation",
                      "s3tables:GetTableMetadataLocation",
                      "s3tables:GetTableData",
                      "s3tables:PutTableData"
                  ],
                  "Resource": [
                      "arn:aws:s3tables:us-east-1:111122223333:bucket/*"
                  ]
              }
          ]
      }

      Anexe a política ao perfil usando o seguinte comando:

      aws iam put-role-policy \
      --role-name S3TablesRoleForLakeFormation  \
      --policy-name LakeFormationDataAccessPermissionsForS3TableBucket \
      --policy-document file://LF-GluePolicy.json

3. Crie um arquivo chamado input.json que contenha o seguinte:

   {
       "ResourceArn": "arn:aws:s3tables:us-east-1:111122223333:bucket/*",
   
       "WithFederation": true,
       "RoleArn": "arn:aws:iam::111122223333:role/S3TablesRoleForLakeFormation"
   }                

   Registre os buckets de tabela no Lake Formation usando o seguinte comando:

   aws lakeformation register-resource \
   --region us-east-1 \
   --with-privileged-access \
   --cli-input-json file://input.json

4. Crie um arquivo chamado catalog.json que contenha o seguinte catálogo:

   {
      "Name": "s3tablescatalog",
      "CatalogInput": {
         "FederatedCatalog": {
             "Identifier": "arn:aws:s3tables:us-east-1:111122223333:bucket/*",
             "ConnectionName": "aws:s3tables"
          },
          "CreateDatabaseDefaultPermissions":[],
          "CreateTableDefaultPermissions":[]
      }
   }     

   Crie o catálogo s3tablescatalog usando o comando a seguir. Ao criar esse catálogo, o AWS Glue Data Catalog é preenchido com objetos correspondentes a buckets de tabela, namespaces e tabelas.

   aws glue create-catalog \
   --region us-east-1 \
   --allow-full-table-external-data-access \
   --cli-input-json file://catalog.json

5. Verifique se o catálogo s3tablescatalog foi adicionado no AWS Glue usando o seguinte comando:

   aws glue get-catalog --catalog-id s3tablescatalog

1. Abra o console do AWS Lake Formation em https://console.aws.amazon.com/lakeformation/ e faça login como administrador do data lake. Consulte mais informações sobre como criar um administrador de data lake em Create a data lake administrator no Guia do desenvolvedor do AWS Lake Formation.

2. Exclua o catálogo s3tablescatalog fazendo o seguinte:

   • No painel de navegação à esquerda, selecione Catálogos.

   • Selecione o botão de opção ao lado do catálogo s3tablescatalog na lista Catálogos. No menu Ações, escolha Excluir.

3. Cancele o registro da localização dos dados do catálogo s3tablescatalog fazendo o seguinte:

   • No painel de navegação à esquerda, acesse a seção Administração e selecione Locais de data lake.

   • Selecione o botão de opção ao lado da localização do data lake s3tablescatalog; por exemplo, s3://tables:region:account-id:bucket/*.

   • No menu Ações, selecione Remover.

   • Na caixa de diálogo de confirmação exibida, selecione Remover.

4. Agora que você excluiu o catálogo s3tablescatalog e a localização do data lake, pode seguir as etapas para integrar os buckets de tabela aos serviços de analytics da AWS usando o processo de integração atualizado.