Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon Athena Redshift Konnektor

Der Amazon Athena Redshift-Connector ermöglicht Amazon Athena den Zugriff auf Ihre Amazon Redshift- und Amazon Redshift Serverless-Datenbanken, einschließlich Redshift Serverless-Ansichten. Sie können mithilfe der auf dieser Seite beschriebenen Konfigurationseinstellungen für die Verbindungszeichenfolge JDBC eine Verbindung zu beiden Diensten herstellen.

Dieser Konnektor kann bei Glue Data Catalog als Verbundkatalog registriert werden. Es unterstützt in Lake Formation definierte Datenzugriffskontrollen auf Katalog-, Datenbank-, Tabellen-, Spalten-, Zeilen- und Tagebene. Dieser Konnektor verwendet Glue Connections, um die Konfigurationseigenschaften in Glue zu zentralisieren.

Voraussetzungen

Einschränkungen

Bedingungen

Parameter

Verwenden Sie die Parameter in diesem Abschnitt, um den Redshift-Connector zu konfigurieren.

Verbindungszeichenfolge

Verwenden Sie eine JDBC Verbindungszeichenfolge im folgenden Format, um eine Verbindung zu einer Datenbankinstanz herzustellen.

redshift://${jdbc_connection_string}

Verwenden eines Multiplexing-Handlers

Sie können einen Multiplexer verwenden, um mit einer einzigen Lambda-Funktion eine Verbindung zu mehreren Datenbank-Instances herzustellen. Anfragen werden anhand des Katalognamens weitergeleitet. Verwenden Sie die folgenden Klassen in Lambda.

Multiplex-Handler-Parameter

Die folgenden Beispieleigenschaften beziehen sich auf eine MUX Redshift-Lambda-Funktion, die zwei Datenbankinstanzen unterstützt: redshift1 (Standard) und. redshift2

Bereitstellen von Anmeldeinformationen

Um einen Benutzernamen und ein Passwort für Ihre Datenbank in Ihrer JDBC Verbindungszeichenfolge anzugeben, können Sie die Eigenschaften der Verbindungszeichenfolge oder verwenden. AWS Secrets Manager

Beispiel einer Verbindungszeichenfolge mit einem geheimen Namen

Die folgende Zeichenfolge hat den geheimen Namen $ {Test/RDS/Redshift1}.

redshift://jdbc:redshift://redshift1.host:3306/default?...&${Test/RDS/Redshift1}&...

Der Konnektor verwendet den geheimen Namen, um Secrets abzurufen und den Benutzernamen und das Kennwort bereitzustellen, wie im folgenden Beispiel gezeigt.

redshift://jdbc:redshift://redshift1.host:3306/default?...&user=sample2&password=sample2&...

Derzeit erkennt der Redshift-Konnektor die password JDBC Eigenschaften user und.

Überlauf-Parameter

Das Lambda SDK kann Daten an Amazon S3 weitergeben. Alle Datenbank-Instances, auf die mit derselben Lambda-Funktion zugegriffen wird, werden an denselben Speicherort verschoben.

Datentypunterstützung

Die folgende Tabelle zeigt die entsprechenden Datentypen für JDBC und Apache Arrow.

Partitionen und Splits

Redshift unterstützt keine externen Partitionen. Informationen zur leistungsbezogenen Problemen finden Sie unter Leistung.

Leistung

Der Athena-Redshift-Konnektor führt einen Prädikat-Pushdown durch, um die Anzahl der von der Abfrage gescannten Daten zu reduzieren. LIMIT-Klauseln, ORDER BY-Klauseln, einfache Prädikate und komplexe Ausdrücke werden an den Konnektor übertragen, um die Menge der gescannten Daten zu reduzieren und die Laufzeit der Abfrage zu verkürzen. Die Auswahl einer Teilmenge von Spalten führt jedoch manchmal zu einer längeren Laufzeit der Abfrageausführung. Amazon Redshift ist besonders anfällig für eine Verlangsamung der Abfrageausführung, wenn Sie mehrere Abfragen gleichzeitig ausführen.

LIMITKlauseln

Eine LIMIT N-Anweisung reduziert die von der Abfrage durchsuchten Daten. Mit LIMIT N-Pushdown gibt der Konnektor nur N Zeilen an Athena zurück.

Top-N-Abfragen

Eine Top-N-Abfrage gibt eine Reihenfolge der Ergebnismenge und eine Obergrenze für die Anzahl der zurückgegebenen Zeilen an. Sie können diesen Abfragetyp verwenden, um die höchsten N-Höchstwerte oder die höchsten N-Minimalwerte für Ihre Datensätze zu ermitteln. Mit N-Pushdown gibt der Konnektor nur N-geordnete Zeilen an Athena zurück.

Prädikate

Ein Prädikat ist ein Ausdruck in der WHERE Klausel einer SQL Abfrage, der einen booleschen Wert ergibt und Zeilen auf der Grundlage mehrerer Bedingungen filtert. Der Athena-Redshift-Konnektor kann diese Ausdrücke kombinieren und sie direkt an Redshift weiterleiten, um die Funktionalität zu erweitern und die Menge der gescannten Daten zu reduzieren.

Die folgenden Athena-Redshift-Konnektor-Operatoren unterstützen Prädikat-Pushdown:

Beispiel für einen kombinierten Pushdown

Kombinieren Sie für erweiterte Abfragefunktionen die Pushdown-Typen wie im folgenden Beispiel:

SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d)) 
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%') 
ORDER BY col_a DESC 
LIMIT 10;

Einen Artikel über die Verwendung von Prädikat-Pushdown zur Verbesserung der Leistung bei Verbundabfragen, einschließlich Amazon Redshift, finden Sie unter Verbessern von Verbundabfragen mit Prädikat-Pushdown in Amazon Athena im AWS -Big-Data-Blog.

Passthrough-Abfragen

Der Redshift-Connector unterstützt Passthrough-Abfragen. Passthrough-Abfragen verwenden eine Tabellenfunktion, um Ihre vollständige Abfrage zur Ausführung an die Datenquelle weiterzuleiten.

Um Passthrough-Abfragen mit Redshift zu verwenden, können Sie die folgende Syntax verwenden:

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

Mit der folgenden Beispielabfrage wird eine Abfrage an eine Datenquelle in Redshift weitergeleitet. Die Abfrage wählt alle Spalten in der customer Tabelle aus und begrenzt die Ergebnisse auf 10.

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

Weitere Ressourcen

Die neuesten Informationen zur JDBC Treiberversion finden Sie in der Datei pom.xml für den Redshift-Connector auf GitHub .com.

Weitere Informationen zu diesem Connector finden Sie auf der entsprechenden Website unter GitHub .com.