Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Connettore Amazon Athena DocumentDB

Il connettore Amazon Athena DocumentDB consente ad Athena di comunicare con le tue istanze DocumentDB in modo da poter interrogare i tuoi dati DocumentDB. SQL Il connettore funziona anche con qualsiasi endpoint compatibile con MongoDB.

A differenza dei tradizionali archivi di dati relazionali, le raccolte Amazon DocumentDB non hanno uno schema prestabilito. DocumentDB non dispone di un archivio dei metadati. Ogni voce in una raccolta DocumentDB può avere campi e tipi di dati diversi.

Il connettore DocumentDB supporta due meccanismi per la generazione di informazioni sullo schema della tabella: inferenza dello schema di base e metadati. AWS Glue Data Catalog

L'inferenza dello schema è l'impostazione predefinita. Questa opzione esegue la scansione di un numero limitato di documenti della raccolta, forma un'unione di tutti i campi e forza i campi che hanno tipi di dati non sovrapposti. Questa opzione funziona bene per le raccolte che hanno voci per lo più uniformi.

Per le raccolte con una maggiore varietà di tipi di dati, il connettore supporta il recupero dei metadati da AWS Glue Data Catalog. Se il connettore vede un AWS Glue database e una tabella che corrispondono al database DocumentDB e ai nomi delle raccolte, ottiene le informazioni sullo schema dalla tabella corrispondente AWS Glue . Quando crei la AWS Glue tabella, ti consigliamo di renderla un superset di tutti i campi a cui potresti voler accedere dalla tua raccolta DocumentDB.

Se hai abilitato Lake Formation nel tuo account, il IAM ruolo del tuo connettore Lambda federato Athena che hai distribuito nell'accesso in lettura indispensabile in AWS Serverless Application Repository Lake Formation a. AWS Glue Data Catalog

Prerequisiti

Parametri

Utilizza le variabili di ambiente Lambda illustrate in questa sezione per configurare il connettore DocumentDB.

Specifica delle stringhe di connessione

Puoi specificare una o più proprietà che definiscono i dettagli di connessione DocumentDB per le istanze DocumentDB utilizzate con il connettore. A tale scopo, imposta una variabile di ambiente Lambda che corrisponda al nome del catalogo che desideri utilizzare in Athena. Ad esempio, supponiamo di voler utilizzare le seguenti query per interrogare due diverse istanze DocumentDB da Athena:

SELECT * FROM "docdb_instance_1".database.table

SELECT * FROM "docdb_instance_2".database.table

Prima di poter utilizzare queste due SQL istruzioni, è necessario aggiungere due variabili di ambiente alla funzione Lambda: docdb_instance_1 and. docdb_instance_2 Il valore di ciascuno deve essere una stringa di connessione DocumentDB nel formato seguente:

mongodb://:@:/?ssl=true&ssl_ca_certs=rds-combined-ca-bundle.pem&replicaSet=rs0      

Utilizzo dei segreti

Facoltativamente, puoi utilizzare AWS Secrets Manager per intero o in parte il valore per i dettagli della stringa di connessione. Per utilizzare la funzionalità Athena Federated Query con Secrets Manager, la persona VPC connessa alla funzione Lambda deve avere accesso a Internet o un VPCendpoint per connettersi a Secrets Manager.

Se si utilizza la sintassi ${my_secret} per inserire il nome di un segreto di Secrets Manager nella stringa di connessione, il connettore sostituisce esattamente ${my_secret} con il valore di testo semplice di Secrets Manager. I segreti devono essere archiviati come segreti di testo semplice con valore <username>:<password>. I segreti memorizzati come {username:<username>,password:<password>} non verranno passati correttamente alla stringa di connessione.

I segreti possono essere utilizzati esclusivamente anche per l'intera stringa di connessione e il nome utente e la password possono essere definiti all'interno del segreto.

Ad esempio, supponiamo di impostare la variabile di ambiente Lambda per docdb_instance_1 sul seguente valore:

mongodb://${docdb_instance_1_creds}@myhostname.com:123/?ssl=true&ssl_ca_certs=rds-combined-ca-bundle.pem&replicaSet=rs0         

Athena Query Federation tenta SDK automaticamente di recuperare un segreto denominato da Secrets docdb_instance_1_creds Manager e di inserire quel valore al posto di. ${docdb_instance_1_creds} Qualsiasi parte della stringa di connessione racchiusa entro la combinazione di caratteri ${ } viene interpretata come un segreto da Secrets Manager. Se specifichi un nome del segreto che il connettore non riesce a trovare in Secrets Manager, il connettore non sostituisce il testo.

Configurazione di database e tabelle in AWS Glue

Poiché la funzionalità di inferenza dello schema integrata nel connettore esegue la scansione di un numero limitato di documenti e supporta solo un sottoinsieme di tipi di dati, è consigliabile utilizzarla invece AWS Glue per i metadati.

Per abilitare una AWS Glue tabella da utilizzare con Amazon DocumentDB, devi disporre di un database e di una tabella per il AWS Glue database e la raccolta DocumentDB per i quali desideri fornire metadati supplementari.

Supporto dei tipi di dati

Questa sezione elenca i tipi di dati utilizzati dal connettore DocumentDB per l'inferenza dello schema e i tipi di dati quando vengono utilizzati i AWS Glue metadati.

Tipi di dati di inferenza dello schema

La funzionalità di inferenza dello schema del connettore DocumentDB tenta di dedurre i valori come appartenenti a uno dei seguenti tipi di dati. Nella tabella seguente vengono illustrati i tipi di dati corrispondenti per Amazon DocumentDB, Java e Apache Arrow.

AWS Glue tipi di dati

Se si utilizzano AWS Glue metadati supplementari, è possibile configurare i seguenti tipi di dati. La tabella mostra i tipi di dati corrispondenti per AWS Glue e Apache Arrow.

Autorizzazioni richieste

Per tutti i dettagli sulle IAM politiche richieste da questo connettore, consulta la Policies sezione del file athena-docdb.yaml. L'elenco che segue riporta un riepilogo delle autorizzazioni richieste.

Prestazioni

Il connettore Amazon DocumentDB per Athena al momento non supporta le scansioni in parallelo, ma tenta di eseguire il pushdown dei predicati come parte delle query DocumentDB e i predicati sugli indici della raccolta DocumentDB risultano in una quantità di dati scansionati significativamente inferiore.

La funzione Lambda esegue il pushdown dei predicati per ridurre la quantità di dati scansionati dalla query. Tuttavia, la selezione di un sottoinsieme di colonne a volte comporta un runtime delle query più lungo. Le clausole LIMIT riducono la quantità di dati scansionati, ma se non viene fornito un predicato, le query SELECT con una clausola LIMIT eseguiranno la scansione di almeno 16 MB di dati.

Interrogazioni pass-through

Il connettore Amazon DocumentDB Athena supporta le query passthrough ed è basato su No. SQL Per informazioni sull'esecuzione di query in Amazon DocumentDB, consulta la sezione Querying nella Amazon DocumentDB Developer Guide.

Per utilizzare le query passthrough con Amazon DocumentDB, utilizza la seguente sintassi:

SELECT * FROM TABLE(
        system.query(
            database => 'database_name',
            collection => 'collection_name',
            filter => '{query_syntax}'
        ))

L'esempio seguente interroga il example database all'interno della TPCDS raccolta, filtrando tutti i libri con il titolo Bill of Rights.

SELECT * FROM TABLE(
        system.query(
            database => 'example',
            collection => 'tpcds',
            filter => '{title: "Bill of Rights"}'
        ))

Risorse aggiuntive