Configurar o acesso entre contas aos catálogos de dados do AWS Glue

Você pode usar o recurso de catálogo do AWS Glue entre contas do Athena para registrar um catálogo do AWS Glue de outra conta sua. Depois de configurar as permissões do IAM necessárias para o AWS Glue e registrar o catálogo como um recurso DataCatalog do Athena, você poderá usar o Athena para executar consultas entre contas. Para obter informações sobre como usar o console do Athena para registrar um catálogo de outra conta, consulte Registrar um catálogo de dados de outra conta.

Para obter mais informações sobre o acesso entre contas no AWS Glue, consulte Concessão de acesso entre contas no Guia do desenvolvedor do AWS Glue.

Antes de começar

Como esse recurso usa as APIs existentes do recurso DataCatalog e as funcionalidades do Athena para habilitar o acesso entre contas, recomendamos ler os seguintes tópicos antes de começar:

Considerações e limitações

No momento, o acesso entre contas ao catálogo do AWS Glue no Athena tem as seguintes limitações:

Conceitos básicos

No cenário abaixo, a conta do “tomador” (666666666666) deseja executar uma consulta SELECT que faz referência ao catálogo do AWS Glue que pertence à conta do “proprietária” (999999999999), como no seguinte exemplo:

SELECT * FROM ownerCatalog.tpch1000.customer

No procedimento a seguir, as etapas 1a e 1b mostram como conceder à conta do tomador acesso aos recursos do AWS Glue da conta do proprietário, tanto da perspectiva do tomador quanto do proprietário. O exemplo concede acesso ao banco de dados tpch1000 e à tabela customer. Altere esses nomes de exemplo de acordo com as suas necessidades.

Etapa 1b: criar um perfil de tomador com acesso aos recursos do AWS Glue do proprietário

Para criar um perfil de conta do tomador com uma política para acessar os recursos do AWS Glue da conta do proprietário, é possível usar o console do AWS Identity and Access Management (IAM) ou a API do IAM. O procedimento a seguir usa o console do IAM.

Etapa 1b: criar uma política do proprietário para permitir que o tomador tenha acesso ao AWS Glue

Para conceder acesso ao AWS Glue da conta do proprietário (999999999999) para o perfil do tomador, é possível usar o console do AWS Glue ou a operação de API PutResourcePolicy do AWS Glue. O procedimento a seguir usa o console do AWS Glue.

Ao concluir, recomendamos usar a API do AWS Glue para fazer algumas chamadas de teste entre contas a fim de confirmar se as permissões estão configuradas conforme o esperado.

Etapa 2: o mutuário registra o AWS Glue Data Catalog que pertence à conta de proprietário

O procedimento a seguir mostra como usar o console do Athena para configurar um AWS Glue Data Catalog na conta da Amazon Web Services do proprietário da fonte de dados. Para obter informações sobre como usar operações de API em vez do console para registrar o catálogo, consulte (Opcional) Usar a API para registrar um catálogo de dados do Athena que pertence à conta do proprietário.

Etapa 3: O mutuário envia uma consulta

O tomador envia uma consulta que faz referência ao catálogo usando a sintaxe catálogo.banco de dados.tabela, conforme o seguinte exemplo:

SELECT * FROM ownerCatalog.tpch1000.customer

Em vez de usar a sintaxe totalmente qualificada, o tomador também pode especificar o catálogo contextualmente, passando o valor por QueryExecutionContext.

(Opcional) Configurar permissões adicionais do Amazon S3

Para informações sobre como conceder permissões de bucket, consulte Como definir permissões de bucket de ACL? no Guia do usuário do console do Amazon Simple Storage Service.

(Opcional) Usar um catálogo dinamicamente

Em alguns casos, você pode querer executar testes rápidos em um catálogo do AWS Glue entre contas sem a etapa de pré-requisito de registro. Você poderá executar dinamicamente consultas entre contas sem criar o objeto de recurso DataCatalog se as permissões necessárias do IAM e do Amazon S3 estiverem configuradas corretamente, conforme já foi descrito neste documento.

Para referenciar claramente um catálogo sem registro, use a sintaxe no seguinte exemplo:

SELECT * FROM "glue:arn:aws:glue:us-east-1:999999999999:catalog".tpch1000.customer

Use o formato “glue:<arn>”, em que <arn> é o ARN do AWS Glue Data Catalog que você deseja usar. No exemplo, o Athena usa essa sintaxe para apontar dinamicamente para o catálogo de dados do AWS Glue da conta 999999999999 como se você tivesse criado um objeto DataCatalog separado para ele.

Observações sobre o uso de catálogos dinâmicos

Ao usar catálogos dinâmicos, lembre-se dos pontos a seguir.

(Opcional) Usar a API para registrar um catálogo de dados do Athena que pertence à conta do proprietário

Em vez de usar o console do Athena conforme descrito na Etapa 2, é possível usar operações de API para registrar o catálogo de dados pertencente à conta do proprietário.

O criador do recurso DataCatalog do Athena deve ter as permissões necessárias para executar a operação de API CreateDataCatalog do Athena. Dependendo dos seus requisitos, o acesso às operações adicionais de API pode ser necessário. Para ter mais informações, consulte Políticas de catálogo de dados de exemplo.

O corpo da seguinte solicitação CreateDataCatalog registra um catálogo do AWS Glue para acesso entre contas:

# Example CreateDataCatalog request to register a cross-account Glue catalog:
{
    "Description": "Cross-account Glue catalog",
    "Name": "ownerCatalog",
    "Parameters": {"catalog-id" : "999999999999"  # Owner's account ID
    },
    "Type": "GLUE"
}

O código de exemplo a seguir usa um cliente Java para criar o objeto DataCatalog.

# Sample code to create the DataCatalog through Java client
CreateDataCatalogRequest request = new CreateDataCatalogRequest()
    .withName("ownerCatalog")
    .withType(DataCatalogType.GLUE)
    .withParameters(ImmutableMap.of("catalog-id", "999999999999"));

athenaClient.createDataCatalog(request);

Após essas etapas, o mutuário deverá ver ownerCatalog quando chamar a operação de API ListDataCatalogs.

Recursos adicionais