Connettore Amazon Athena Postgre SQL - Amazon Athena
PrerequisitiLimitazioniTerminiParametriSupporto dei tipi di datiPartizioni e suddivisioniPrestazioniInterrogazioni passthroughRisorse aggiuntive

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Connettore Amazon Athena Postgre SQL

Il connettore Amazon Athena Postgre SQL consente ad Athena di accedere ai tuoi database Postgre. SQL

Prerequisiti

Limitazioni

  • Le operazioni di scrittura non sono supportate. DDL

  • In una configurazione multiplex, il bucket di spill e il prefisso sono condivisi tra tutte le istanze del database.

  • Eventuali limiti Lambda pertinenti. Per ulteriori informazioni, consulta la sezione Quote Lambda nella Guida per gli sviluppatori di AWS Lambda .

  • Come Postgre, SQL Athena considera gli spazi finali nei SQL CHAR tipi Postgre come semanticamente insignificanti per scopi di lunghezza e confronto. Nota che ciò si applica solo ai tipi ma non ai tipi. CHAR VARCHAR Athena ignora gli spazi finali per il CHAR tipo, ma li considera significativi per il tipo. VARCHAR

  • Quando si utilizza il tipo di dati stringa di caratteri citext senza distinzione tra maiuscole e minuscole, Postgre SQL utilizza un confronto di dati senza distinzione tra maiuscole e minuscole diverso da Athena. Questa differenza crea una discrepanza tra i dati durante le operazioni. SQL JOIN Per risolvere questo problema, utilizzate la funzione di interrogazione passthrough del connettore Postgre. SQL Per ulteriori informazioni, consulta la sezione sulle interrogazioni passthrough più avanti in questo documento.

Termini

I seguenti termini si riferiscono al connettore SQL Postgres.

  • Istanza di database: qualsiasi istanza di un database distribuita in locale, su Amazon EC2 o su AmazonRDS.

  • Gestore: un gestore Lambda che accede all'istanza del database. Un gestore può gestire i metadati o i record di dati.

  • Gestore dei metadati: un gestore Lambda che recupera i metadati dall'istanza del database.

  • Gestore dei record: un gestore Lambda che recupera i record di dati dall'istanza del database.

  • Gestore composito: un gestore Lambda che recupera sia i metadati sia i record di dati dall'istanza del database.

  • Proprietà o parametro: una proprietà del database utilizzata dai gestori per estrarre le informazioni del database. Queste proprietà vengono configurate come variabili di ambiente Lambda.

  • Stringa di connessione: una stringa di testo utilizzata per stabilire una connessione a un'istanza del database.

  • Catalogo: un AWS Glue catalogo non registrato con Athena che è un prefisso obbligatorio per la proprietà. connection_string

  • Gestore multiplex: un gestore Lambda in grado di accettare e utilizzare più connessioni al database.

Parametri

Usa le variabili di ambiente Lambda in questa sezione per configurare il connettore SQL Postgre.

Stringa di connessione

Usa una stringa di JDBC connessione nel seguente formato per connetterti a un'istanza di database.

postgres://${jdbc_connection_string}

Utilizzo di un gestore multiplex

Puoi utilizzare un gestore multiplex per connetterti a più istanze del database con una singola funzione Lambda. Le richieste vengono indirizzate in base al nome del catalogo. Utilizza le seguenti classi in Lambda.

Gestore Classe
Gestore composito PostGreSqlMuxCompositeHandler
Gestore dei metadati PostGreSqlMuxMetadataHandler
Gestore dei record PostGreSqlMuxRecordHandler

Parametri del gestore multiplex

Parametro Descrizione
$catalog_connection_string Obbligatorio. Una stringa di connessione di un'istanza del database. Appone alla variabile di ambiente un prefisso con il nome del catalogo utilizzato in Athena. Ad esempio, se il catalogo registrato presso Athena è mypostgrescatalog, il nome della variabile di ambiente è mypostgrescatalog_connection_string.
default Obbligatorio. La stringa di connessione predefinita. Questa stringa viene utilizzata quando il catalogo è lambda:${AWS_LAMBDA_FUNCTION_NAME}.

Le seguenti proprietà di esempio riguardano una funzione PostGreSql MUX Lambda che supporta due istanze di database: postgres1 (impostazione predefinita) e. postgres2

Proprietà Valore
default postgres://jdbc:postgresql://postgres1.host:5432/default?${Test/RDS/PostGres1}
postgres_catalog1_connection_string postgres://jdbc:postgresql://postgres1.host:5432/default?${Test/RDS/PostGres1}
postgres_catalog2_connection_string postgres://jdbc:postgresql://postgres2.host:5432/default?user=sample&password=sample

Specifica delle credenziali

Per fornire un nome utente e una password per il database nella stringa di JDBC connessione, è possibile utilizzare le proprietà della stringa di connessione o. AWS Secrets Manager

  • Stringa di connessione: è possibile specificare un nome utente e una password come proprietà nella stringa di JDBC connessione.

    Importante

    Come best practice di sicurezza, non utilizzare credenziali codificate nelle variabili di ambiente o nelle stringhe di connessione. Per informazioni su come trasferire i segreti codificati in AWS Secrets Manager, consulta Move i segreti codificati AWS Secrets Manager nella Guida per l'utente.AWS Secrets Manager

  • AWS Secrets Manager— Per utilizzare la funzionalità Athena Federated Query con AWS Secrets Manager, la persona VPC connessa alla funzione Lambda deve avere accesso a Internet o un VPCendpoint per connettersi a Secrets Manager.

    È possibile inserire il nome di un segreto AWS Secrets Manager nella stringa di connessione. JDBC Il connettore sostituisce il nome del segreto con i valori username e password di Secrets Manager.

    Per le istanze di RDS database Amazon, questo supporto è strettamente integrato. Se utilizzi AmazonRDS, ti consigliamo vivamente di utilizzare la rotazione AWS Secrets Manager delle credenziali. Se il tuo database non utilizza AmazonRDS, archivia le credenziali JSON nel seguente formato:

    {"username": "${username}", "password": "${password}"}
Esempio di stringa di connessione con nome del segreto

La stringa seguente ha il nome del segreto ${Test/RDS/PostGres1}.

postgres://jdbc:postgresql://postgres1.host:5432/default?...&${Test/RDS/PostGres1}&...

Il connettore utilizza il nome del segreto per recuperare i segreti e fornire il nome utente e la password, come nell'esempio seguente.

postgres://jdbc:postgresql://postgres1.host:5432/default?...&user=sample2&password=sample2&...

Attualmente, il SQL connettore Postgre riconosce le proprietà and. user password JDBC

Abilitazione SSL

Per supportare SSL la tua SQL connessione Postgre, aggiungi quanto segue alla tua stringa di connessione:

&sslmode=verify-ca&sslfactory=org.postgresql.ssl.DefaultJavaSSLFactory
Esempio

Il seguente esempio di stringa di connessione non utilizza. SSL

postgres://jdbc:postgresql://example-asdf-aurora-postgres-endpoint:5432/asdf?user=someuser&password=somepassword

Per abilitarlaSSL, modificate la stringa come segue.

postgres://jdbc:postgresql://example-asdf-aurora-postgres-endpoint:5432/asdf?user=someuser&password=somepassword&sslmode=verify-ca&sslfactory=org.postgresql.ssl.DefaultJavaSSLFactory

Utilizzo di un gestore a singola connessione

È possibile utilizzare i seguenti metadati a connessione singola e gestori di record per connettersi a una singola istanza di Postgre. SQL

Tipo di gestore Classe
Gestore composito PostGreSqlCompositeHandler
Gestore dei metadati PostGreSqlMetadataHandler
Gestore dei record PostGreSqlRecordHandler

Parametri del gestore a singola connessione

Parametro Descrizione
default Obbligatorio. La stringa di connessione predefinita.

I gestori a singola connessione supportano una sola istanza del database e devono fornire un parametro di stringa di connessione del tipo default. Tutte le altre stringhe di connessione vengono ignorate.

La seguente proprietà di esempio si riferisce a una singola SQL istanza di Postgre supportata da una funzione Lambda.

Proprietà Valore
default postgres://jdbc:postgresql://postgres1.host:5432/default?secret=${Test/RDS/PostgreSQL1}

Parametri di spill

La Lambda SDK può trasferire dati su Amazon S3. Tutte le istanze del database a cui accede la stessa funzione Lambda riversano i dati nella stessa posizione.

Parametro Descrizione
spill_bucket Obbligatorio. Nome del bucket di spill.
spill_prefix Obbligatorio. Prefisso della chiave del bucket di spill.
spill_put_request_headers (Facoltativo) Una mappa JSON codificata delle intestazioni e dei valori delle richieste per la richiesta Amazon putObject S3 utilizzata per lo spilling (ad esempio,). {"x-amz-server-side-encryption" : "AES256"} Per altre possibili intestazioni, consulta PutObjectAmazon Simple Storage Service API Reference.

Supporto dei tipi di dati

La tabella seguente mostra i tipi di dati corrispondenti per JDBC PostGreSQL, e Arrow.

JDBC PostGreSQL Arrow
Booleano Booleano Bit
Numero intero N/D Tiny
Breve smallint Smallint
Numero intero integer Int
Long bigint Bigint
float float4 Float4
Doppio float8 Float8
Data date DateDay
Timestamp timestamp DateMilli
Stringa text Varchar
Byte bytes Varbinary
BigDecimal numeric(p,s) Decimale
ARRAY N/D (vedi nota) Elenco
Nota

Il ARRAY tipo è supportato per il SQL connettore Postgre con i seguenti vincoli: Gli array multidimensionali (o gli array annidati) non sono supportati. <data_type>[][] Le colonne con tipi di dati ARRAY non supportati vengono convertite in una matrice di elementi di stringa (array<varchar>).

Partizioni e suddivisioni

Le partizioni vengono utilizzate per determinare come generare suddivisioni per il connettore. Athena costruisce una colonna sintetica di tipo varchar che rappresenta lo schema di partizionamento della tabella per aiutare il connettore a generare suddivisioni. Il connettore non modifica la definizione effettiva della tabella.

Prestazioni

Postgre supporta le partizioni native. SQL Il SQL connettore Athena Postgre può recuperare dati da queste partizioni in parallelo. Se desideri interrogare set di dati molto grandi con una distribuzione uniforme delle partizioni, ti consigliamo vivamente il partizionamento nativo.

Il SQL connettore Athena Postgre esegue il pushdown dei predicati per ridurre i dati scansionati dalla query. LIMITclausole, predicati semplici ed espressioni complesse vengono inserite nel connettore per ridurre la quantità di dati analizzati e ridurre il tempo di esecuzione delle query. Tuttavia, la selezione di un sottoinsieme di colonne comporta un runtime di esecuzione delle query più lungo.

LIMITclausole

Una dichiarazione LIMIT N riduce la quantità di dati analizzati dalla query. Con il pushdown LIMIT N, il connettore restituisce solo le righe N ad Athena.

Predicati

Un predicato è un'espressione nella WHERE clausola di una SQL query che restituisce un valore booleano e filtra le righe in base a più condizioni. Il SQL connettore Athena Postgre può combinare queste espressioni e inviarle direttamente a Postgre SQL per migliorare le funzionalità e ridurre la quantità di dati scansionati.

I seguenti operatori di SQL connettori Athena Postgre supportano il pushdown dei predicati:

  • Booleano:, OR, AND NOT

  • Uguaglianza:EQUAL, NOT _EQUAL, LESS _ LESS _OR_THAN, _EQUAL, THAN _ GREATER _OR_, IS_ GREATER _THAN, THAN _IFEQUAL, IS_ DISTINCT FROM NULL NULL

  • Aritmetica:,,,, ADD SUBTRACT MULTIPLY DIVIDE MODULUS NEGATE

  • Altro: LIKE _, IN PATTERN

Esempio di pushdown combinato

Per le funzionalità di esecuzione di query avanzate, combina i tipi di pushdown, come nell'esempio seguente:

SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d))
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%') 
LIMIT 10;

Interrogazioni passthrough

Il SQL connettore Postgre supporta le query passthrough. Le query passthrough utilizzano una funzione di tabella per inviare l'intera query alla fonte di dati per l'esecuzione.

Per utilizzare le query passthrough con PostgreSQL, puoi usare la seguente sintassi:

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

La seguente query di esempio invia una query a una fonte di dati in Postgre. SQL La query seleziona tutte le colonne della customer tabella, limitando i risultati a 10.

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

Risorse aggiuntive

Per informazioni sulla versione più recente del JDBC driver, consultate il file pom.xml per il connettore Postgre SQL su .com. GitHub

Per ulteriori informazioni su questo connettore, visitate il sito corrispondente su GitHub .com.