Connettore Amazon Athena SAP HANA - Amazon Athena
PrerequisitiLimitazioniTerminiParametriSupporto dei tipi di datiConversioni dei tipi di datiPartizioni e suddivisioniPrestazioniInterrogazioni passthroughInformazioni sulla licenzaRisorse aggiuntive

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Connettore Amazon Athena SAP HANA

Questo connettore non può essere registrato con Glue Data Catalog come catalogo federato. Questo connettore non supporta i controlli di accesso ai dati definiti in Lake Formation a livello di catalogo, database, tabella, colonna, riga e tag. Questo connettore utilizza Glue Connections per centralizzare le proprietà di configurazione in Glue.

Prerequisiti

Limitazioni

  • DDLLe operazioni di scrittura non sono supportate.

  • In una configurazione multiplex, il bucket di spill e il prefisso sono condivisi tra tutte le istanze del database.

  • Eventuali limiti Lambda pertinenti. Per ulteriori informazioni, consulta la sezione Quote Lambda nella Guida per gli sviluppatori di AWS Lambda .

  • In SAPHANA, i nomi degli oggetti vengono convertiti in lettere maiuscole quando vengono archiviati nel SAP HANA database. Tuttavia, poiché i nomi tra virgolette fanno distinzione tra maiuscole e minuscole, è possibile che due tabelle abbiano lo stesso nome in lettere minuscole e maiuscole (ad esempio, EMPLOYEE e employee).

    In Athena Federated Query, i nomi delle tabelle dello schema vengono forniti alla funzione Lambda in lettere minuscole. Per risolvere il problema, puoi fornire suggerimenti sulle query @schemaCase per recuperare i dati dalle tabelle i cui nomi che fanno distinzione tra maiuscole e minuscole. Di seguito sono riportate due query di esempio con suggerimenti per le query.

    SELECT * 
FROM "lambda:saphanaconnector".SYSTEM."MY_TABLE@schemaCase=upper&tableCase=upper"     
    SELECT * 
FROM "lambda:saphanaconnector".SYSTEM."MY_TABLE@schemaCase=upper&tableCase=lower"

Termini

I seguenti termini si riferiscono al SAP HANA connettore.

  • Istanza di database: qualsiasi istanza di un database distribuita in locale, su Amazon EC2 o su AmazonRDS.

  • Gestore: un gestore Lambda che accede all'istanza del database. Un gestore può gestire i metadati o i record di dati.

  • Gestore dei metadati: un gestore Lambda che recupera i metadati dall'istanza del database.

  • Gestore dei record: un gestore Lambda che recupera i record di dati dall'istanza del database.

  • Gestore composito: un gestore Lambda che recupera sia i metadati sia i record di dati dall'istanza del database.

  • Proprietà o parametro: una proprietà del database utilizzata dai gestori per estrarre le informazioni del database. Queste proprietà vengono configurate come variabili di ambiente Lambda.

  • Stringa di connessione: una stringa di testo utilizzata per stabilire una connessione a un'istanza del database.

  • Catalogo: un AWS Glue catalogo non registrato con Athena che è un prefisso obbligatorio per la proprietà. connection_string

  • Gestore multiplex: un gestore Lambda in grado di accettare e utilizzare più connessioni al database.

Parametri

Utilizzate i parametri di questa sezione per configurare il SAP HANA connettore.

Nota

I connettori di origine dati Athena creati il 3 dicembre 2024 e versioni successive utilizzano connessioni. AWS Glue

I nomi e le definizioni dei parametri elencati di seguito si riferiscono ai connettori di origine dati Athena creati prima del 3 dicembre 2024. Questi possono differire dalle proprietà di AWS Glue connessione corrispondenti. A partire dal 3 dicembre 2024, utilizza i parametri seguenti solo quando distribuisci manualmente una versione precedente di un connettore di origine dati Athena.

Stringa di connessione

Utilizza una stringa di JDBC connessione nel formato seguente per connetterti a un'istanza di database.

saphana://${jdbc_connection_string}

Utilizzo di un gestore multiplex

Puoi utilizzare un gestore multiplex per connetterti a più istanze del database con una singola funzione Lambda. Le richieste vengono indirizzate in base al nome del catalogo. Utilizza le seguenti classi in Lambda.

Gestore Classe
Gestore composito SaphanaMuxCompositeHandler
Gestore dei metadati SaphanaMuxMetadataHandler
Gestore dei record SaphanaMuxRecordHandler

Parametri del gestore multiplex

Parametro Descrizione
$catalog_connection_string Obbligatorio. Una stringa di connessione di un'istanza del database. Appone alla variabile di ambiente un prefisso con il nome del catalogo utilizzato in Athena. Ad esempio, se il catalogo registrato presso Athena è mysaphanacatalog, il nome della variabile di ambiente è mysaphanacatalog_connection_string.
default Obbligatorio. La stringa di connessione predefinita. Questa stringa viene utilizzata quando il catalogo è lambda:${ AWS_LAMBDA_FUNCTION_NAME}.

Le seguenti proprietà di esempio riguardano una funzione Saphana MUX Lambda che supporta due istanze di database: saphana1 (impostazione predefinita) e. saphana2

Proprietà Valore
default saphana://jdbc:sap://saphana1.host:port/?${Test/RDS/ Saphana1}
saphana_catalog1_connection_string saphana://jdbc:sap://saphana1.host:port/?${Test/RDS/ Saphana1}
saphana_catalog2_connection_string saphana://jdbc:sap://saphana2.host:port/?user=sample2&password=sample2

Specifica delle credenziali

Per fornire un nome utente e una password per il database nella stringa di JDBC connessione, è possibile utilizzare le proprietà della stringa di connessione o. AWS Secrets Manager

  • Stringa di connessione: è possibile specificare un nome utente e una password come proprietà nella stringa di JDBC connessione.

    Importante

    Come best practice di sicurezza, non utilizzare credenziali codificate nelle variabili di ambiente o nelle stringhe di connessione. Per informazioni su come trasferire i segreti codificati in AWS Secrets Manager, consulta Move i segreti codificati AWS Secrets Manager nella Guida per l'utente.AWS Secrets Manager

  • AWS Secrets Manager— Per utilizzare la funzionalità Athena Federated Query con AWS Secrets Manager, la persona VPC connessa alla funzione Lambda deve avere accesso a Internet o un VPCendpoint per connettersi a Secrets Manager.

    È possibile inserire il nome di un segreto AWS Secrets Manager nella stringa di connessione. JDBC Il connettore sostituisce il nome del segreto con i valori username e password di Secrets Manager.

    Per le istanze di RDS database Amazon, questo supporto è strettamente integrato. Se utilizzi AmazonRDS, ti consigliamo vivamente di utilizzare la rotazione AWS Secrets Manager delle credenziali. Se il tuo database non utilizza AmazonRDS, archivia le credenziali JSON nel seguente formato:

    {"username": "${username}", "password": "${password}"}
Esempio di stringa di connessione con nome del segreto

La stringa seguente ha il nome del segreto ${Test/RDS/Saphana1}.

saphana://jdbc:sap://saphana1.host:port/?${Test/RDS/Saphana1}&...

Il connettore utilizza il nome del segreto per recuperare i segreti e fornire il nome utente e la password, come nell'esempio seguente.

saphana://jdbc:sap://saphana1.host:port/?user=sample2&password=sample2&...

Attualmente, il SAP HANA connettore riconosce le proprietà user and passwordJDBC.

Utilizzo di un gestore a singola connessione

È possibile utilizzare i seguenti metadati a connessione singola e gestori di record per connettersi a una singola istanza. SAP HANA

Tipo di gestore Classe
Gestore composito SaphanaCompositeHandler
Gestore dei metadati SaphanaMetadataHandler
Gestore dei record SaphanaRecordHandler

Parametri del gestore a singola connessione

Parametro Descrizione
default Obbligatorio. La stringa di connessione predefinita.

I gestori a singola connessione supportano una sola istanza del database e devono fornire un parametro di stringa di connessione del tipo default. Tutte le altre stringhe di connessione vengono ignorate.

La proprietà di esempio seguente si riferisce a una singola SAP HANA istanza supportata da una funzione Lambda.

Proprietà Valore
default saphana://jdbc:sap://saphana1.host:port/?secret=Test/RDS/Saphana1

Parametri di spill

La Lambda SDK può trasferire dati su Amazon S3. Tutte le istanze del database a cui accede la stessa funzione Lambda riversano i dati nella stessa posizione.

Parametro Descrizione
spill_bucket Obbligatorio. Nome del bucket di spill.
spill_prefix Obbligatorio. Prefisso della chiave del bucket di spill.
spill_put_request_headers (Facoltativo) Una mappa JSON codificata delle intestazioni e dei valori delle richieste per la richiesta Amazon putObject S3 utilizzata per lo spilling (ad esempio,). {"x-amz-server-side-encryption" : "AES256"} Per altre possibili intestazioni, consulta PutObjectAmazon Simple Storage Service API Reference.

Supporto dei tipi di dati

La tabella seguente mostra i tipi di dati corrispondenti per JDBC e Apache Arrow.

JDBC Arrow
Booleano Bit
Numero intero Tiny
Breve Smallint
Numero intero Int
Long Bigint
float Float4
Doppio Float8
Data DateDay
Timestamp DateMilli
Stringa Varchar
Byte Varbinary
BigDecimal Decimale
ARRAY Elenco

Conversioni dei tipi di dati

Oltre alle conversioni in Arrow, il connettore esegue alcune altre conversioni per rendere compatibili i tipi di dati di SAP HANA origine e Athena. JDBC Queste conversioni contribuiscono a garantire che le query vengano eseguite in modo corretto. Nella tabella seguente vengono illustrate queste conversioni.

Tipo di dati di origine () SAP HANA Tipo di dati convertito (Athena)
DECIMAL BIGINT
INTEGER INT
DATE DATEDAY
TIMESTAMP DATEMILLI

Tutti gli altri tipi di dati non supportati vengono convertiti in VARCHAR.

Partizioni e suddivisioni

Una partizione è rappresentata da una singola colonna di partizione di tipo Integer. La colonna contiene i nomi delle partizioni definite in una SAP HANA tabella. Se una tabella non ha nomi di partizione, viene restituito *, che equivale a una singola partizione. Una partizione equivale a una suddivisione.

Nome Tipo Descrizione
PART_ID Numero intero Partizione denominata in. SAP HANA

Prestazioni

SAPHANAsupporta partizioni native. Il SAP HANA connettore Athena può recuperare dati da queste partizioni in parallelo. Se desideri interrogare set di dati molto grandi con una distribuzione uniforme delle partizioni, ti consigliamo vivamente il partizionamento nativo. La selezione di un sottoinsieme di colonne velocizza notevolmente il runtime delle query e riduce i dati scansionati. Il connettore presenta una significativa limitazione della larghezza di banda della rete e talvolta errori di query dovuti alla simultaneità.

Il SAP HANA connettore Athena esegue il pushdown dei predicati per ridurre i dati scansionati dalla query. LIMITclausole, predicati semplici ed espressioni complesse vengono inserite nel connettore per ridurre la quantità di dati analizzati e ridurre il tempo di esecuzione delle query.

LIMITclausole

Una dichiarazione LIMIT N riduce la quantità di dati analizzati dalla query. Con il pushdown LIMIT N, il connettore restituisce solo le righe N ad Athena.

Predicati

Un predicato è un'espressione nella WHERE clausola di una SQL query che restituisce un valore booleano e filtra le righe in base a più condizioni. Il SAP HANA connettore Athena può combinare queste espressioni e inviarle direttamente SAP HANA per funzionalità avanzate e ridurre la quantità di dati scansionati.

I seguenti operatori di SAP HANA connettori Athena supportano il pushdown dei predicati:

  • Booleano:, OR, AND NOT

  • Uguaglianza:EQUAL, NOT _EQUAL, LESS _ LESS _OR_THAN, _EQUAL, THAN _ GREATER _OR_, IS_ GREATER _THAN, THAN _IFEQUAL, IS_ DISTINCT FROM NULL NULL

  • Aritmetica:,,,, ADD SUBTRACT MULTIPLY DIVIDE MODULUS NEGATE

  • Altro: LIKE _, IN PATTERN

Esempio di pushdown combinato

Per le funzionalità di esecuzione di query avanzate, combina i tipi di pushdown, come nell'esempio seguente:

SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d))
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%') 
LIMIT 10;

Interrogazioni passthrough

Il SAP HANA connettore supporta le interrogazioni passthrough. Le query passthrough utilizzano una funzione di tabella per inviare la query completa alla fonte di dati per l'esecuzione.

Per utilizzare le query passthrough con SAPHANA, è possibile utilizzare la seguente sintassi:

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

La seguente query di esempio invia una query a un'origine dati in. SAP HANA La query seleziona tutte le colonne della customer tabella, limitando i risultati a 10.

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

Informazioni sulla licenza

Utilizzando questo connettore, l'utente riconosce l'inclusione di componenti di terze parti, un elenco dei quali è disponibile nel file pom.xml relativo a questo connettore, e accetta i termini delle rispettive licenze di terze parti fornite nel LICENSEfile.txt su .com. GitHub

Risorse aggiuntive

Per informazioni sulla versione più recente del JDBC driver, consultate il file pom.xml per il SAP HANA connettore su .com. GitHub

Per ulteriori informazioni su questo connettore, visitate il sito corrispondente all'indirizzo GitHub .com.