Connettore Amazon Athena DynamoDB

Il connettore Amazon Athena DynamoDB consente ad Amazon Athena di comunicare con DynamoDB in modo da poter eseguire query sulle tabelle con SQL. Operazioni di scrittura come INSERT INTO non sono supportate.

Questo connettore può essere registrato con Glue Data Catalog come catalogo federato. Supporta i controlli di accesso ai dati definiti in Lake Formation a livello di catalogo, database, tabella, colonna, riga e tag. Questo connettore utilizza Glue Connections per centralizzare le proprietà di configurazione in Glue.

Se hai abilitato Lake Formation nel tuo account, il ruolo IAM per il tuo connettore Lambda federato Athena che hai distribuito nell'accesso in lettura deve avere accesso in lettura in AWS Serverless Application Repository Lake Formation a. AWS Glue Data Catalog

Prerequisiti

Limitazioni

Se migri le tue connessioni DynamoDB a Glue Catalog e Lake Formation, verranno riconosciuti solo i nomi minuscoli di tabelle e colonne.

Parametri

Utilizza i parametri in questa sezione per configurare il connettore DynamoDB.

aws glue describe-connection-type --connection-type DYNAMODB

Configurazione di database e tabelle in AWS Glue

Poiché la capacità di inferenza dello schema integrata nel connettore è limitata, potresti volerla utilizzare AWS Glue per i metadati. A tale scopo, è necessario disporre di un database e di una tabella. AWS Glue Per abilitarli all'uso con DynamoDB, è necessario modificarne le proprietà.

Autorizzazioni richieste

Consulta la sezione Policies del file athena-dynamodb.yaml per i dettagli completi delle policy IAM richieste da questo connettore. L'elenco che segue riporta un riepilogo delle autorizzazioni richieste.

Prestazioni

Il connettore DynamoDB per Athena supporta le scansioni in parallelo e tenta di eseguire il pushdown dei predicati come parte delle query DynamoDB. Un predicato hash key con valori X distinti genera X chiamate di query a DynamoDB. Tutti gli altri scenari di predicato danno come risultato un numero Y di chiamate di scansione, dove Y viene determinato euristicamente in base alla dimensione della tabella e alla velocità di trasmissione effettiva allocata. Tuttavia, la selezione di un sottoinsieme di colonne comporta un runtime di esecuzione delle query più lungo.

Viene eseguito il pushdown delle clausole LIMIT e dei predicati semplici, il che può ridurre la quantità di dati scansionati e, di conseguenza, il runtime di esecuzione delle query.

Clausole LIMIT

Una dichiarazione LIMIT N riduce la quantità di dati analizzati dalla query. Con il pushdown LIMIT N, il connettore restituisce solo le righe N ad Athena.

Predicati

Un predicato è un'espressione nella clausola WHERE di una query SQL che valuta a un valore booleano e filtra le righe in base a più condizioni. Per migliorare le funzionalità e ridurre la quantità di dati scansionati, il connettore Athena DynamoDB può combinare queste espressioni e inviarle direttamente a DynamoDB.

I seguenti operatori del connettore DynamoDB di Athena supportano il pushdown dei predicati:

Esempio di pushdown combinato

Per le funzionalità di esecuzione di query avanzate, combina i tipi di pushdown, come nell'esempio seguente:

SELECT *
FROM my_table
WHERE col_a > 10 and col_b < 10
LIMIT 10

Per un articolo sull'utilizzo del pushdown del predicato per migliorare le prestazioni nelle query federate, incluso DynamoDB, consulta Come migliorare le query federate con il pushdown del predicato in Amazon Athena nel Blog sui Big Data di AWS .

Interrogazioni pass-through

Il connettore DynamoDB supporta le query passthrough e utilizza la sintassi PartiQL. L'operazione API GetItemDynamoDB non è supportata. Per informazioni sull'interrogazione di DynamoDB utilizzando PartiQL, consulta le istruzioni PartiQL select per DynamoDB nella Amazon DynamoDB Developer Guide.

Per utilizzare le query passthrough con DynamoDB, utilizzate la seguente sintassi:

SELECT * FROM TABLE(
        system.query(
            query => 'query_string'
        ))

Il seguente esempio di query passthrough DynamoDB utilizza PartiQL per restituire un elenco di dispositivi Fire TV Stick che hanno una proprietà successiva al 24/12/22. DateWatched

SELECT * FROM TABLE(
        system.query(
           query => 'SELECT Devices 
                       FROM WatchList 
                       WHERE Devices.FireStick.DateWatched[0] > '12/24/22''
        ))

Risoluzione dei problemi

Filtri multipli su una colonna con chiave di ordinamento

Messaggio di errore: KeyConditionExpressionsdeve contenere solo una condizione per chiave

Causa: questo problema può verificarsi nella versione 3 del motore Athena nelle query che hanno un filtro con limite sia inferiore sia superiore su una colonna con chiave di ordinamento DynamoDB. Poiché DynamoDB non supporta più di una condizione di filtro su una chiave di ordinamento, quando il connettore tenta di inviare una query a cui sono applicate entrambe le condizioni, viene generato un errore.

Soluzione: aggiorna il connettore alla versione 2023.11.1 o successiva. Per istruzioni sull'aggiornamento di un connettore, consulta Aggiornare un connettore di origine dati.

Costi

I costi di utilizzo del connettore dipendono dalle AWS risorse sottostanti utilizzate. Poiché le query che utilizzano scansioni possono consumare un gran numero di unità di capacità di lettura (RCUs), considera attentamente le informazioni relative ai prezzi di Amazon DynamoDB.

Risorse aggiuntive