Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Connettore Amazon Athena per Teradata
Il connettore Amazon Athena per Teradata consente ad Athena di SQL eseguire query sui dati archiviati nei database Teradata.
Prerequisiti
Implementa il connettore sul tuo Account AWS utilizzando la console Athena o AWS Serverless Application Repository. Per ulteriori informazioni, consulta Implementa un connettore di origine dati o Utilizzare il AWS Serverless Application Repository per distribuire un connettore di origine dati.
Limitazioni
-
DDLLe operazioni di scrittura non sono supportate.
-
In una configurazione multiplex, il bucket di spill e il prefisso sono condivisi tra tutte le istanze del database.
-
Eventuali limiti Lambda pertinenti. Per ulteriori informazioni, consulta la sezione Quote Lambda nella Guida per gli sviluppatori di AWS Lambda .
Termini
I seguenti termini si riferiscono al connettore Teradata.
-
Istanza di database: qualsiasi istanza di un database distribuita in locale, su Amazon EC2 o su AmazonRDS.
-
Gestore: un gestore Lambda che accede all'istanza del database. Un gestore può gestire i metadati o i record di dati.
-
Gestore dei metadati: un gestore Lambda che recupera i metadati dall'istanza del database.
-
Gestore dei record: un gestore Lambda che recupera i record di dati dall'istanza del database.
-
Gestore composito: un gestore Lambda che recupera sia i metadati sia i record di dati dall'istanza del database.
-
Proprietà o parametro: una proprietà del database utilizzata dai gestori per estrarre le informazioni del database. Queste proprietà vengono configurate come variabili di ambiente Lambda.
-
Stringa di connessione: una stringa di testo utilizzata per stabilire una connessione a un'istanza del database.
-
Catalogo: un AWS Glue catalogo non registrato con Athena che è un prefisso obbligatorio per la proprietà.
connection_string
-
Gestore multiplex: un gestore Lambda in grado di accettare e utilizzare più connessioni al database.
Prerequisito del livello Lambda
Per utilizzare il connettore Teradata con Athena, è necessario creare un layer Lambda che includa il driver Teradata. JDBC Un livello Lambda è un archivio di file .zip
contenente un codice aggiuntivo per una funzione Lambda. Quando si distribuisce il connettore Teradata sul proprio account, si specificano i livelli. ARN Questo collega il layer Lambda con il driver Teradata al connettore JDBC Teradata in modo da poterlo utilizzare con Athena.
Per ulteriori informazioni sui livelli Lambda, consulta Creazione e condivisione dei livelli Lambda nella Guida per gli sviluppatori di AWS Lambda .
Per creare un livello Lambda per il connettore Teradata
-
Scarica il driver JDBC Teradata. Il sito Web richiede di creare un account e di accettare un contratto di licenza per scaricare il file.
-
Estrai il file
terajdbc4.jar
dall'archivio dei file che hai scaricato. -
Crea la seguente struttura di cartelle in cui posizionare il file
.jar
.java\lib\terajdbc4.jar
-
Crea un file
.zip
dell'intera struttura di cartelle che contiene il fileterajdbc4.jar
. Accedi a AWS Management Console e apri la AWS Lambda console all'indirizzo. https://console.aws.amazon.com/lambda/
-
Scegli Layers (Livelli) nel pannello di navigazione, quindi scegli Create layer (Crea un livello).
-
Per Name (Nome), immettere un nome per il livello (ad esempio,
TeradataJava11LambdaLayer
). -
Assicurati che l'opzione Upload a .zip file (Carica un file .zip) sia selezionata.
-
Scegli Carica, quindi carica la cartella zippata che contiene il driver JDBC Teradata.
-
Scegli Create (Crea) .
-
Nella pagina dei dettagli del layer, copiate il layer ARN scegliendo l'icona degli appunti nella parte superiore della pagina.
-
Salvate il file come ARN riferimento.
Parametri
Utilizza le variabili di ambiente Lambda illustrate in questa sezione per configurare il connettore Teradata.
Stringa di connessione
Utilizzate una stringa di JDBC connessione nel formato seguente per connettervi a un'istanza di database.
teradata://${
jdbc_connection_string
}
Utilizzo di un gestore multiplex
Puoi utilizzare un gestore multiplex per connetterti a più istanze del database con una singola funzione Lambda. Le richieste vengono indirizzate in base al nome del catalogo. Utilizza le seguenti classi in Lambda.
Gestore | Classe |
---|---|
Gestore composito | TeradataMuxCompositeHandler |
Gestore dei metadati | TeradataMuxMetadataHandler |
Gestore dei record | TeradataMuxRecordHandler |
Parametri del gestore multiplex
Parametro | Descrizione |
---|---|
$ |
Obbligatorio. Una stringa di connessione di un'istanza del database. Appone alla variabile di ambiente un prefisso con il nome del catalogo utilizzato in Athena. Ad esempio, se il catalogo registrato presso Athena è myteradatacatalog , il nome della variabile di ambiente è myteradatacatalog_connection_string . |
default |
Obbligatorio. La stringa di connessione predefinita. Questa stringa viene utilizzata quando il catalogo è lambda:${ AWS_LAMBDA_FUNCTION_NAME } . |
Le seguenti proprietà di esempio riguardano una funzione Teradata MUX Lambda che supporta due istanze di database: teradata1
(impostazione predefinita) e. teradata2
Proprietà | Valore |
---|---|
default |
teradata://jdbc:teradata://teradata2.host/TMODE=ANSI,CHARSET=UTF8,DATABASE=TEST,user=sample2&password=sample2 |
teradata_catalog1_connection_string |
teradata://jdbc:teradata://teradata1.host/TMODE=ANSI,CHARSET=UTF8,DATABASE=TEST,${Test/RDS/Teradata1} |
teradata_catalog2_connection_string |
teradata://jdbc:teradata://teradata2.host/TMODE=ANSI,CHARSET=UTF8,DATABASE=TEST,user=sample2&password=sample2 |
Specifica delle credenziali
Per fornire un nome utente e una password per il database nella stringa di JDBC connessione, è possibile utilizzare le proprietà della stringa di connessione o. AWS Secrets Manager
-
Stringa di connessione: è possibile specificare un nome utente e una password come proprietà nella stringa di JDBC connessione.
Importante
Come best practice di sicurezza, non utilizzare credenziali codificate nelle variabili di ambiente o nelle stringhe di connessione. Per informazioni su come trasferire i segreti codificati in AWS Secrets Manager, consulta Move i segreti codificati AWS Secrets Manager nella Guida per l'utente.AWS Secrets Manager
-
AWS Secrets Manager— Per utilizzare la funzionalità Athena Federated Query con AWS Secrets Manager, la persona VPC connessa alla funzione Lambda deve avere accesso a Internet
o un VPCendpoint per connettersi a Secrets Manager. È possibile inserire il nome di un segreto AWS Secrets Manager nella stringa di connessione. JDBC Il connettore sostituisce il nome del segreto con i valori
username
epassword
di Secrets Manager.Per le istanze di RDS database Amazon, questo supporto è strettamente integrato. Se utilizzi AmazonRDS, ti consigliamo vivamente di utilizzare la rotazione AWS Secrets Manager delle credenziali. Se il tuo database non utilizza AmazonRDS, archivia le credenziali JSON nel seguente formato:
{"username": "${username}", "password": "${password}"}
Esempio di stringa di connessione con nome del segreto
La stringa seguente ha il nome del segreto ${Test/RDS/Teradata1}
.
teradata://jdbc:teradata1.host/TMODE=ANSI,CHARSET=UTF8,DATABASE=TEST,${Test/RDS/Teradata1}&...
Il connettore utilizza il nome del segreto per recuperare i segreti e fornire il nome utente e la password, come nell'esempio seguente.
teradata://jdbc:teradata://teradata1.host/TMODE=ANSI,CHARSET=UTF8,DATABASE=TEST,...&user=sample2&password=sample2&...
Attualmente, Teradata riconosce le proprietà and. user
password
JDBC Accetta anche il nome utente e la password nel formato username
/
password
senza le chiavi user
opassword
.
Utilizzo di un gestore a singola connessione
Puoi utilizzare i seguenti gestori di metadati e record a singola connessione per connetterti a una singola istanza Teradata.
Tipo di gestore | Classe |
---|---|
Gestore composito | TeradataCompositeHandler |
Gestore dei metadati | TeradataMetadataHandler |
Gestore dei record | TeradataRecordHandler |
Parametri del gestore a singola connessione
Parametro | Descrizione |
---|---|
default |
Obbligatorio. La stringa di connessione predefinita. |
I gestori a singola connessione supportano una sola istanza del database e devono fornire un parametro di stringa di connessione del tipo default
. Tutte le altre stringhe di connessione vengono ignorate.
La seguente proprietà di esempio si riferisce a una singola istanza Teradata supportata da una funzione Lambda.
Proprietà | Valore |
---|---|
default |
teradata://jdbc:teradata://teradata1.host/TMODE=ANSI,CHARSET=UTF8,DATABASE=TEST,secret=Test/RDS/Teradata1 |
Parametri di spill
La Lambda SDK può trasferire dati su Amazon S3. Tutte le istanze del database a cui accede la stessa funzione Lambda riversano i dati nella stessa posizione.
Parametro | Descrizione |
---|---|
spill_bucket |
Obbligatorio. Nome del bucket di spill. |
spill_prefix |
Obbligatorio. Prefisso della chiave del bucket di spill. |
spill_put_request_headers |
(Facoltativo) Una mappa JSON codificata delle intestazioni e dei valori delle richieste per la richiesta Amazon putObject S3 utilizzata per lo spilling (ad esempio,). {"x-amz-server-side-encryption" :
"AES256"} Per altre possibili intestazioni, consulta PutObjectAmazon Simple Storage Service API Reference. |
Supporto dei tipi di dati
La tabella seguente mostra i tipi di dati corrispondenti per JDBC e Apache Arrow.
JDBC | Arrow |
---|---|
Booleano | Bit |
Numero intero | Tiny |
Breve | Smallint |
Numero intero | Int |
Long | Bigint |
float | Float4 |
Doppio | Float8 |
Data | DateDay |
Timestamp | DateMilli |
Stringa | Varchar |
Byte | Varbinary |
BigDecimal | Decimale |
ARRAY | Elenco |
Partizioni e suddivisioni
Una partizione è rappresentata da una singola colonna di partizione di tipo Integer
. La colonna contiene i nomi delle partizioni definite in una tabella Teradata. Se una tabella non ha nomi di partizione, viene restituito *, che equivale a una singola partizione. Una partizione equivale a una suddivisione.
Nome | Tipo | Descrizione |
---|---|---|
partition | Numero intero | Partizione denominata in Teradata. |
Prestazioni
Teradata supporta le partizioni native. Il connettore Teradata di Athena può recuperare dati da queste partizioni in parallelo. Se desideri interrogare set di dati molto grandi con una distribuzione uniforme delle partizioni, ti consigliamo vivamente il partizionamento nativo. La selezione di un sottoinsieme di colonne rallenta notevolmente l'esecuzione delle query. Il connettore mostra alcune limitazioni della larghezza di banda della rete dovute alla simultaneità.
Il connettore Athena Teradata esegue il pushdown del predicato per ridurre la quantità di dati scansionati dalla query. I predicati semplici e le espressioni complesse vengono inviati al connettore per ridurre la quantità di dati scansionati e ridurre il tempo di esecuzione delle query.
Predicati
Un predicato è un'espressione nella WHERE
clausola di una SQL query che restituisce un valore booleano e filtra le righe in base a più condizioni. Il connettore Teradata di Athena può combinare queste espressioni e inviarle direttamente a Teradata per funzionalità avanzate e per ridurre la quantità di dati scansionati.
I seguenti operatori del connettore Athena Teradata supportano il pushdown dei predicati:
-
Booleano:, OR, AND NOT
-
Uguaglianza:EQUAL, NOT _EQUAL, LESS _ LESS _OR_THAN, _, _ THAN GREATER _OR_EQUAL, THAN THAN EQUAL _IF, GREATER IS_ NULL NULL
-
Aritmetica:,,,,, ADD SUBTRACT MULTIPLY DIVIDE MODULUS NEGATE
-
Altro: LIKE _, IN PATTERN
Esempio di pushdown combinato
Per le funzionalità di esecuzione di query avanzate, combina i tipi di pushdown, come nell'esempio seguente:
SELECT * FROM my_table WHERE col_a > 10 AND ((col_a + col_b) > (col_c % col_d)) AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%');
Interrogazioni passthrough
Il connettore Teradata supporta le query passthrough. Le query passthrough utilizzano una funzione di tabella per inviare l'intera query alla fonte di dati per l'esecuzione.
Per utilizzare le query passthrough con Teradata, è possibile utilizzare la seguente sintassi:
SELECT * FROM TABLE( system.query( query => '
query string
' ))
La seguente query di esempio invia una query a una fonte di dati in Teradata. La query seleziona tutte le colonne della tabella. customer
SELECT * FROM TABLE( system.query( query => 'SELECT * FROM customer' ))
Informazioni sulla licenza
Utilizzando questo connettore, l'utente riconosce l'inclusione di componenti di terze parti, un elenco dei quali è disponibile nel file pom.xml
Risorse aggiuntive
Per informazioni sulla versione più recente del JDBC driver, vedere il file pom.xml
Per ulteriori informazioni su questo connettore, visitate il sito corrispondente su GitHub .com