Conector do Amazon Athena para o DynamoDB

O conector do DynamoDB no Amazon Athena permite que o Amazon Athena se comunique com o DynamoDB para que você possa consultar suas tabelas com SQL. Operações de gravação como INSERT INTO não são suportadas.

Se você tiver o Lake Formation habilitado em sua conta, o perfil do IAM para seu conector Lambda federado para Athena que você implantou no AWS Serverless Application Repository deve ter acesso de leitura ao AWS Glue Data Catalog no Lake Formation.

Pré-requisitos

Parâmetros

Use as variáveis de ambiente do Lambda nesta seção para configurar o conector DynamoDB.

Configuração de bancos de dados e tabelas no AWS Glue

Como a capacidade incorporada de inferência de esquema do conector é limitada, talvez você queira usar o AWS Glue para metadados. Para fazer isso, você deve ter um banco de dados e uma tabela no AWS Glue. Para habilitá-los para uso com o DynamoDB, você deve editar suas propriedades.

Permissões obrigatórias

Revise a seção Policies do arquivo athena-dynamodb.yaml para obter detalhes completos sobre as políticas do IAM que esse conector exige. A lista a seguir resume as permissões necessárias.

Performance

O conector Athena DynamoDB oferece suporte a verificações paralelas e tentativas de reduzir predicados como parte de suas consultas do DynamoDB. Um predicado de chave de hash com X valores distintos resulta em X chamadas de consulta para o DynamoDB. Todos os outros cenários de predicados resultam em um número Y de chamadas de exame, onde Y é determinado heuristicamente com base no tamanho da tabela e na throughput provisionada. Porém, selecionar um subconjunto de colunas resulta, algumas vezes, em um runtime mais longo.

Cláusulas LIMIT e predicados simples são passados diretamente e podem reduzir a quantidade de dados examinados e reduzir o runtime de execução da consulta.

Cláusulas LIMIT

Uma instrução LIMIT N reduz os dados examinados pela consulta. Com a passagem direta de LIMIT N, o conector só retorna N linhas para o Athena.

Predicados

Um predicado é uma expressão na cláusula WHERE de uma consulta SQL, que avalia para um valor booleano e filtra as linhas com base em várias condições. Para melhorar a funcionalidade e reduzir a quantidade de dados examinados, o conector do Athena para o DynamoDB pode combinar essas expressões e passá-las diretamente ao DynamoDB.

Os seguintes operadores do conector do Athena para o DynamoDB são compatíveis com a passagem direta de predicados:

Exemplo de passagem direta combinada

Para ter recursos aprimorados de consulta, combine os tipos de passagem direta, como no seguinte exemplo:

SELECT *
FROM my_table
WHERE col_a > 10 and col_b < 10
LIMIT 10

Para ver um artigo sobre como usar o pushdown de predicado para melhorar o desempenho em consultas federadas, incluindo DynamoDB, consulte Melhorar as consultas federadas com o pushdown de predicados no Amazon Athena no AWSBlog de Big Data.

Consultas de passagem

O conector do DynamoDB é compatível com consultas de passagem e usa a sintaxe partiQL. Não há compatibilidade com a operação de API GetItem do DynamoDB. Para obter informações sobre como consultar o DynamoDB usando o PartiQL, consulte Instruções selecionadas do partiQL para o DynamoDB no Guias do desenvolvedor do Amazon DynamoDB.

Para usar consultas de passagem com o DynamoDB, use a seguinte sintaxe:

SELECT * FROM TABLE(
        system.query(
            query => 'query_string'
        ))

O seguinte exemplo de consulta de passagem do DynamoDB usa partiQL para retornar uma lista de dispositivos Fire TV Stick com uma propriedade DateWatched posterior a 24/12/22.

SELECT * FROM TABLE(
        system.query(
           query => 'SELECT Devices 
                       FROM WatchList 
                       WHERE Devices.FireStick.DateWatched[0] > '12/24/22''
        ))

Solução de problemas

Vários filtros em uma coluna de chave de classificação

Mensagem de erro: KeyConditionExpressions deve conter apenas uma condição por chave

Causa: este problema pode ocorrer no mecanismo Athena versão 3 em consultas que tenham um filtro limitado inferior e superior em uma coluna de chave de classificação do DynamoDB. Como o DynamoDB não oferece suporte a mais de uma condição de filtro em uma chave de classificação, ocorre um erro quando o conector tenta propagar uma consulta que tenha as duas condições aplicadas.

Solução: atualize o conector para a versão 2023.11.1 ou posterior. Para obter instruções sobre como atualizar um conector, consulte Atualizar um conector de fonte de dados.

Custos

Os custos de uso do conector dependem dos recursos subjacentes da AWS que são usados. Como as consultas que usam verificações podem consumir um grande número de unidades de capacidade de leitura (RCUs), considere as informações para Definição de preços do Amazon DynamoDB com cuidado.

Recursos adicionais