Connettore Amazon Athena Vertica - Amazon Athena
PrerequisitiLimitazioniFlusso di lavoroTerminiParametriStringa di connessioneParametri di spillSupporto dei tipi di datiPrestazioniInterrogazioni passthroughInformazioni sulla licenzaRisorse aggiuntive

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Connettore Amazon Athena Vertica

Vertica è una piattaforma di database colonnare che può essere implementata nel cloud o on-premise che supporta data warehouse con scalabilità exabyte. Puoi utilizzare il connettore Amazon Athena Vertica nelle query federate per interrogare le origini dati Vertica da Athena. Ad esempio, è possibile eseguire query analitiche su un data warehouse in Vertica e su un data lake in Amazon S3.

Prerequisiti

Limitazioni

  • Poiché il connettore Athena Vertica legge i file Parquet esportati da Amazon S3, le prestazioni del connettore possono essere lente. Quando esegui query su tabelle di grandi dimensioni, ti consigliamo di utilizzare un sistema AS (...) CREATE TABLE SELECT interrogazione e SQL predicati.

  • Attualmente, a causa di un problema noto in Athena Federated Query, il connettore fa sì che Vertica esporti tutte le colonne della tabella interrogata in Amazon S3, ma nei risultati sulla console di Athena risultano visibili solo le colonne interrogate.

  • DDLLe operazioni di scrittura non sono supportate.

  • Eventuali limiti Lambda pertinenti. Per ulteriori informazioni, consulta la sezione Quote Lambda nella Guida per gli sviluppatori di AWS Lambda .

Flusso di lavoro

Il diagramma seguente mostra il flusso di lavoro di una query che utilizza il connettore Vertica.

Flusso di lavoro di una query Vertica da Amazon Athena

  1. Viene emessa una SQL query su una o più tabelle in Vertica.

  2. Il connettore analizza la SQL query per inviare la parte pertinente a Vertica tramite la connessione. JDBC

  3. Le stringhe di connessione utilizzano il nome utente e la password memorizzati AWS Secrets Manager per accedere a Vertica.

  4. Il connettore avvolge la SQL query con un EXPORT comando Vertica, come nell'esempio seguente.

    EXPORT TO PARQUET (directory = 's3://amzn-s3-demo-bucket/folder_name, 
   Compression='Snappy', fileSizeMB=64) OVER() as 
SELECT
PATH_ID,
...
SOURCE_ITEMIZED,
SOURCE_OVERRIDE
FROM DELETED_OBJECT_SCHEMA.FORM_USAGE_DATA
WHERE PATH_ID <= 5;

  5. Vertica elabora la SQL query e invia il set di risultati a un bucket Amazon S3. Per una migliore velocità di trasmissione effettiva, Vertica utilizza l'opzione EXPORT per eseguire in parallelo l'operazione di scrittura di più file Parquet.

  6. Athena effettua la scansione del bucket Amazon S3 per determinare il numero di file da leggere per il set di risultati.

  7. Athena effettua più chiamate alla funzione Lambda e utilizza un Apache ArrowReader per leggere i file Parquet dal set di dati risultante. Le chiamate multiple consentono ad Athena di parallelizzare la lettura dei file Amazon S3 e di raggiungere un throughput fino a 100 GB al secondo.

  8. Athena elabora i dati restituiti da Vertica con i dati scansionati dal data lake e restituisce il risultato.

Termini

I seguenti termini si riferiscono al connettore Vertica.

  • Istanza di database: qualsiasi istanza di un database Vertica distribuita su Amazon. EC2

  • Gestore: un gestore Lambda che accede all'istanza del database. Un gestore può gestire i metadati o i record di dati.

  • Gestore dei metadati: un gestore Lambda che recupera i metadati dall'istanza del database.

  • Gestore dei record: un gestore Lambda che recupera i record di dati dall'istanza del database.

  • Gestore composito: un gestore Lambda che recupera sia i metadati sia i record di dati dall'istanza del database.

  • Proprietà o parametro: una proprietà del database utilizzata dai gestori per estrarre le informazioni del database. Queste proprietà vengono configurate come variabili di ambiente Lambda.

  • Stringa di connessione: una stringa di testo utilizzata per stabilire una connessione a un'istanza del database.

  • Catalogo: un AWS Glue catalogo non registrato con Athena che è un prefisso obbligatorio per la proprietà. connection_string

Parametri

Il connettore Vertica per Amazon Athena presenta diverse opzioni di configurazione attraverso le variabili di ambiente Lambda. Puoi utilizzare le seguenti variabili di ambiente Lambda per configurare il connettore.

  • AthenaCatalogName— Nome della funzione Lambda

  • ExportBucket— Il bucket Amazon S3 in cui vengono esportati i risultati delle query Vertica.

  • SpillBucket— Il nome del bucket Amazon S3 in cui questa funzione può trasferire dati.

  • SpillPrefix— Il prefisso della SpillBucket posizione in cui questa funzione può trasferire dati.

  • SecurityGroupIds— Uno o più IDs che corrispondono al gruppo di sicurezza da applicare alla funzione Lambda (ad esempio, sg1sg2, osg3).

  • SubnetIds— Una o più sottoreti IDs che corrispondono alla sottorete che la funzione Lambda può utilizzare per accedere all'origine dati (ad esempio, subnet1 o). subnet2

  • SecretNameOrPrefix— Il nome o il prefisso di un set di nomi in Secrets Manager a cui questa funzione ha accesso (ad esempio,vertica-*)

  • VerticaConnectionString— I dettagli della connessione Vertica da utilizzare di default se non è definita alcuna connessione specifica al catalogo. La stringa può utilizzare facoltativamente la AWS Secrets Manager sintassi (ad esempio,). ${secret_name}

  • VPCID — L'VPCID da allegare alla funzione Lambda.

Stringa di connessione

Utilizzate una stringa di JDBC connessione nel formato seguente per connettervi a un'istanza di database.

vertica://jdbc:vertica://host_name:port/database?user=vertica-username&password=vertica-password

Utilizzo di un gestore a singola connessione

Puoi utilizzare i seguenti gestori di metadati e record a singola connessione per connetterti a una singola istanza Vertica.

Tipo di gestore Classe
Gestore composito VerticaCompositeHandler
Gestore dei metadati VerticaMetadataHandler
Gestore dei record VerticaRecordHandler

Parametri del gestore a singola connessione

Parametro Descrizione
default Obbligatorio. La stringa di connessione predefinita.

I gestori a singola connessione supportano una sola istanza del database e devono fornire un parametro di stringa di connessione del tipo default. Tutte le altre stringhe di connessione vengono ignorate.

Specifica delle credenziali

Per fornire un nome utente e una password per il database nella stringa di JDBC connessione, è possibile utilizzare le proprietà della stringa di connessione o AWS Secrets Manager.

  • Stringa di connessione: è possibile specificare un nome utente e una password come proprietà nella stringa di JDBC connessione.

    Importante

    Come best practice di sicurezza, non utilizzare credenziali codificate nelle variabili di ambiente o nelle stringhe di connessione. Per informazioni su come trasferire i segreti codificati in AWS Secrets Manager, consulta Move i segreti codificati AWS Secrets Manager nella Guida per l'utente.AWS Secrets Manager

  • AWS Secrets Manager— Per utilizzare la funzionalità Athena Federated Query con AWS Secrets Manager, la persona VPC connessa alla funzione Lambda deve avere accesso a Internet o un VPCendpoint per connettersi a Secrets Manager.

    È possibile inserire il nome di un segreto AWS Secrets Manager nella stringa di connessione. JDBC Il connettore sostituisce il nome del segreto con i valori username e password di Secrets Manager.

    Per le istanze di RDS database Amazon, questo supporto è strettamente integrato. Se utilizzi AmazonRDS, ti consigliamo vivamente di utilizzare la rotazione AWS Secrets Manager delle credenziali. Se il tuo database non utilizza AmazonRDS, archivia le credenziali JSON nel seguente formato:

    {"username": "${username}", "password": "${password}"}
Esempio di stringa di connessione con nomi dei segreti

La stringa seguente ha i nomi del segreto ${vertica-username} e ${vertica-password}.

vertica://jdbc:vertica://host_name:port/database?user=${vertica-username}&password=${vertica-password}

Il connettore utilizza il nome del segreto per recuperare i segreti e fornire il nome utente e la password, come nell'esempio seguente.

vertica://jdbc:vertica://host_name:port/database?user=sample-user&password=sample-password

Attualmente, il connettore Vertica riconosce le vertica-username proprietà and. vertica-password JDBC

Parametri di spill

La Lambda SDK può trasferire dati su Amazon S3. Tutte le istanze del database a cui accede la stessa funzione Lambda riversano i dati nella stessa posizione.

Parametro Descrizione
spill_bucket Obbligatorio. Nome del bucket di spill.
spill_prefix Obbligatorio. Prefisso della chiave del bucket di spill.
spill_put_request_headers (Facoltativo) Una mappa JSON codificata delle intestazioni e dei valori delle richieste per la richiesta Amazon putObject S3 utilizzata per lo spilling (ad esempio,). {"x-amz-server-side-encryption" : "AES256"} Per altre possibili intestazioni, consulta PutObjectAmazon Simple Storage Service API Reference.

Supporto dei tipi di dati

Nella tabella seguente vengono illustrati i tipi di dati supportati per il connettore Vertica.

Booleano
BigInt
Breve
Numero intero
Long
Float
Doppio
Data
Varchar
Byte
BigDecimal
TimeStamp come Varchar

Prestazioni

La funzione Lambda esegue il pushdown della proiezione per ridurre la quantità di dati scansionati dalla query. Le clausole LIMIT riducono la quantità di dati scansionati, ma se non viene fornito un predicato, le query SELECT con una clausola LIMIT eseguiranno la scansione di almeno 16 MB di dati. Il connettore Vertica è resiliente alla limitazione della larghezza di banda della rete dovuta alla simultaneità.

Interrogazioni passthrough

Il connettore Vertica supporta le interrogazioni passthrough. Le query passthrough utilizzano una funzione di tabella per inviare l'intera query alla fonte di dati per l'esecuzione.

Per utilizzare le query passthrough con Vertica, è possibile utilizzare la seguente sintassi:

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

La seguente query di esempio invia una query a un'origine dati in Vertica. La query seleziona tutte le colonne della customer tabella, limitando i risultati a 10.

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

Informazioni sulla licenza

Utilizzando questo connettore, l'utente riconosce l'inclusione di componenti di terze parti, un elenco dei quali è disponibile nel file pom.xml relativo a questo connettore, e accetta i termini delle rispettive licenze di terze parti fornite nel LICENSEfile.txt su .com. GitHub

Risorse aggiuntive

Per informazioni sulla versione più recente del JDBC driver, consultate il file pom.xml per il connettore Vertica su .com. GitHub

Per ulteriori informazioni su questo connettore, consulta il sito corrispondente su GitHub .com e Interrogazione di un'origine dati Vertica in Amazon Athena utilizzando il blog Athena Federated SDK Query in the Big Data.AWS