Amazon Athena SQL Postgre-Anschluss - Amazon Athena
VoraussetzungenEinschränkungenBedingungenParameterDatentypunterstützungPartitionen und SplitsLeistungPassthrough-AbfragenWeitere Ressourcen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon Athena SQL Postgre-Anschluss

Der Amazon Athena SQL Postgre-Konnektor ermöglicht Athena den Zugriff auf Ihre Postgre-Datenbanken. SQL

Voraussetzungen

Einschränkungen

  • DDLSchreibvorgänge werden nicht unterstützt.

  • In einem Multiplexer-Setup werden der Überlauf-Bucket und das Präfix von allen Datenbank-Instances gemeinsam genutzt.

  • Alle relevanten Lambda-Grenzwerte. Weitere Informationen finden Sie unter Lambda quotas (Lambda-Kontingente) im AWS Lambda -Entwicklerhandbuch.

  • Wie Postgre SQL behandelt Athena abschließende Leerzeichen in SQL CHAR Postgre-Typen aus Längen- und Vergleichsgründen als semantisch unbedeutend. Beachten Sie, dass dies nur für Typen gilt, aber nicht für Typen. CHAR VARCHAR Athena ignoriert abschließende Leerzeichen für den CHAR Typ, behandelt sie jedoch als signifikant für den Typ. VARCHAR

  • Wenn Sie den Citext-Datentyp Zeichenfolge ohne Berücksichtigung der Groß- und Kleinschreibung verwenden, SQL verwendet Postgre einen Datenvergleich ohne Berücksichtigung der Groß- und Kleinschreibung, der sich von Athena unterscheidet. Dieser Unterschied führt während des Betriebs zu einer Datendiskrepanz. SQL JOIN Um dieses Problem zu umgehen, verwenden Sie die Passthrough-Abfragefunktion des SQL Postgre-Connectors. Weitere Informationen finden Sie im Abschnitt Passthrough-Abfragen weiter unten in diesem Dokument.

Bedingungen

Die folgenden Begriffe beziehen sich auf den Postgre-Konnektor. SQL

  • Datenbank-Instance — Jede Instanz einer Datenbank, die vor Ort, bei Amazon EC2 oder bei Amazon bereitgestellt wirdRDS.

  • Handler – Ein Lambda-Handler, der auf Ihre Datenbank-Instance zugreift. Ein Handler kann für Metadaten oder für Datensätze verwendet werden.

  • Metadaten-Handler – Ein Lambda-Handler, der Metadaten von Ihrer Datenbank-Instance abruft.

  • Record Handler – Ein Lambda-Handler, der Datensätze aus Ihrer Datenbank-Instance abruft.

  • Composite Handler – Ein Lambda-Handler, der sowohl Metadaten als auch Datensätze aus Ihrer Datenbank-Instance abruft.

  • Eigenschaft oder Parameter – Eine Datenbankeigenschaft, die von Handlern zum Extrahieren von Datenbankinformationen verwendet wird. Sie konfigurieren diese Eigenschaften als Lambda-Umgebungsvariablen.

  • Verbindungszeichenfolge – Eine Textzeichenfolge, die verwendet wird, um eine Verbindung zu einer Datenbank-Instance herzustellen.

  • Katalog — Ein nicht bei Athena registrierter AWS Glue Katalog, der ein erforderliches Präfix für die connection_string Immobilie ist.

  • Multiplex-Handler – Ein Lambda-Handler, der mehrere Datenbankverbindungen akzeptieren und verwenden kann.

Parameter

Verwenden Sie die Lambda-Umgebungsvariablen in diesem Abschnitt, um den Postgre-Konnektor zu konfigurieren. SQL

Verbindungszeichenfolge

Verwenden Sie eine JDBC Verbindungszeichenfolge im folgenden Format, um eine Verbindung zu einer Datenbankinstanz herzustellen.

postgres://${jdbc_connection_string}

Verwenden eines Multiplexing-Handlers

Sie können einen Multiplexer verwenden, um mit einer einzigen Lambda-Funktion eine Verbindung zu mehreren Datenbank-Instances herzustellen. Anfragen werden anhand des Katalognamens weitergeleitet. Verwenden Sie die folgenden Klassen in Lambda.

Handler Klasse
Composite Handler PostGreSqlMuxCompositeHandler
Metadaten-Handler PostGreSqlMuxMetadataHandler
Record Handler PostGreSqlMuxRecordHandler

Multiplex-Handler-Parameter

Parameter Beschreibung
$catalog_connection_string Erforderlich Eine Verbindungszeichenfolge einer Datenbank-Instance. Stellen Sie der Umgebungsvariablen den Namen des in Athena verwendeten Katalogs voran. Wenn zum Beispiel der bei Athena registrierte Katalog mypostgrescatalog ist, dann lautet der Name der Umgebungsvariablen mypostgrescatalog_connection_string.
default Erforderlich Die standardmäßige Verbindungszeichenfolge. Diese Zeichenfolge wird verwendet, wenn der Katalog lambda:${AWS_LAMBDA_FUNCTION_NAME}.

Die folgenden Beispieleigenschaften beziehen sich auf eine PostGreSql MUX Lambda-Funktion, die zwei Datenbankinstanzen unterstützt: postgres1 (Standard) undpostgres2.

Eigenschaft Wert
default postgres://jdbc:postgresql://postgres1.host:5432/default?${Test/RDS/PostGres1}
postgres_catalog1_connection_string postgres://jdbc:postgresql://postgres1.host:5432/default?${Test/RDS/PostGres1}
postgres_catalog2_connection_string postgres://jdbc:postgresql://postgres2.host:5432/default?user=sample&password=sample

Bereitstellen von Anmeldeinformationen

Um einen Benutzernamen und ein Passwort für Ihre Datenbank in Ihrer JDBC Verbindungszeichenfolge anzugeben, können Sie die Eigenschaften der Verbindungszeichenfolge oder AWS Secrets Manager verwenden.

  • Verbindungszeichenfolge — Ein Benutzername und ein Passwort können als Eigenschaften in der JDBC Verbindungszeichenfolge angegeben werden.

    Wichtig

    Als bewährte Sicherheitsmethode sollten Sie keine fest kodierten Anmeldeinformationen in Ihren Umgebungsvariablen oder Verbindungszeichenfolgen verwenden. Informationen zum Verschieben von hartcodierten Geheimnissen nach AWS Secrets Manager finden Sie AWS Secrets Manager im AWS Secrets Manager Benutzerhandbuch unter Verschieben von hartcodierten Geheimnissen nach.

  • AWS Secrets Manager— Um die Athena Federated Query-Funktion verwenden zu können AWS Secrets Manager, muss die mit Ihrem Lambda VPC verbundene Funktion über einen Internetzugang oder einen VPCEndpunkt verfügen, über den Sie sich mit Secrets Manager verbinden können.

    Sie können den Namen eines Geheimnisses AWS Secrets Manager in Ihre JDBC Verbindungszeichenfolge eingeben. Der Konnektor ersetzt den geheimen Namen durch username- und password-Werte von Secrets Manager.

    Für RDS Amazon-Datenbank-Instances ist diese Unterstützung eng integriert. Wenn Sie Amazon verwendenRDS, empfehlen wir dringend, eine Rotation der Anmeldeinformationen zu verwenden AWS Secrets Manager . Wenn Ihre Datenbank Amazon nicht verwendetRDS, speichern Sie die Anmeldeinformationen JSON im folgenden Format:

    {"username": "${username}", "password": "${password}"}
Beispiel einer Verbindungszeichenfolge mit einem geheimen Namen

Die folgende Zeichenfolge hat den geheimen Namen ${Test/RDS/PostGres1}.

postgres://jdbc:postgresql://postgres1.host:5432/default?...&${Test/RDS/PostGres1}&...

Der Konnektor verwendet den geheimen Namen, um Secrets abzurufen und den Benutzernamen und das Kennwort bereitzustellen, wie im folgenden Beispiel gezeigt.

postgres://jdbc:postgresql://postgres1.host:5432/default?...&user=sample2&password=sample2&...

Derzeit erkennt der SQL Postgre-Connector die password JDBC Eigenschaften user und.

Aktiviert SSL

Zur Unterstützung SSL in Ihrer SQL Postgre-Verbindung fügen Sie Folgendes an Ihre Verbindungszeichenfolge an:

&sslmode=verify-ca&sslfactory=org.postgresql.ssl.DefaultJavaSSLFactory
Beispiel

Die folgende Beispiel-Verbindungszeichenfolge verwendet nicht. SSL

postgres://jdbc:postgresql://example-asdf-aurora-postgres-endpoint:5432/asdf?user=someuser&password=somepassword

Um sie zu aktivierenSSL, ändern Sie die Zeichenfolge wie folgt.

postgres://jdbc:postgresql://example-asdf-aurora-postgres-endpoint:5432/asdf?user=someuser&password=somepassword&sslmode=verify-ca&sslfactory=org.postgresql.ssl.DefaultJavaSSLFactory

Verwenden eines einzelnen Verbindungs-Handlers

Sie können die folgenden Metadaten und Datensatzhandler für einzelne Verbindungen verwenden, um eine Verbindung zu einer einzelnen Postgre-Instanz herzustellen. SQL

Handler-Typ Klasse
Composite Handler PostGreSqlCompositeHandler
Metadaten-Handler PostGreSqlMetadataHandler
Record Handler PostGreSqlRecordHandler

Parameter für Einzelverbindungs-Handler

Parameter Beschreibung
default Erforderlich Die standardmäßige Verbindungszeichenfolge.

Die Einzelverbindungs-Handler unterstützen eine Datenbank-Instance und müssen einen default-Verbindungszeichenfolgenparameter bereitstellen. Alle anderen Verbindungszeichenfolgen werden ignoriert.

Die folgende Beispieleigenschaft bezieht sich auf eine einzelne SQL Postgre-Instanz, die von einer Lambda-Funktion unterstützt wird.

Eigenschaft Wert
default postgres://jdbc:postgresql://postgres1.host:5432/default?secret=${Test/RDS/PostgreSQL1}

Überlauf-Parameter

Das Lambda SDK kann Daten an Amazon S3 weitergeben. Alle Datenbank-Instances, auf die mit derselben Lambda-Funktion zugegriffen wird, werden an denselben Speicherort verschoben.

Parameter Beschreibung
spill_bucket Erforderlich Überlauf-Bucket-Name.
spill_prefix Erforderlich Schlüssel-Prefix für den Überlauf-Bucket.
spill_put_request_headers (Optional) Eine JSON kodierte Zuordnung von Anforderungsheadern und Werten für die Amazon S3 putObject S3-Anfrage, die zum Verschicken verwendet wird (z. B.). {"x-amz-server-side-encryption" : "AES256"} Weitere mögliche Header finden Sie PutObjectin der Amazon Simple Storage Service API Reference.

Datentypunterstützung

Die folgende Tabelle zeigt die entsprechenden Datentypen für JDBC PostGreSQL, und Arrow.

JDBC PostGreSQL Arrow
Boolesch Boolesch Bit
Ganzzahl N/A Tiny
Short smallint Smallint
Ganzzahl Ganzzahl Int
Long bigint Bigint
float float4 Float4
Double float8 Float8
Datum date DateDay
Zeitstempel Zeitstempel DateMilli
String Text Varchar
Bytes bytes Varbinary
BigDecimal numeric(p,s) Dezimal
ARRAY N.z. (siehe Hinweis) Auflisten
Anmerkung

Der ARRAY Typ wird für den SQL Postgre-Konnektor mit den folgenden Einschränkungen unterstützt: Mehrdimensionale Arrays (<data_type>[][]oder verschachtelte Arrays) werden nicht unterstützt. Spalten mit nicht unterstützten ARRAY-Datentypen werden in ein Array von Zeichenfolgen-Elementen konvertiert (array<varchar>).

Partitionen und Splits

Partitionen werden verwendet, um zu bestimmen, wie Splits für den Konnektor generiert werden. Athena konstruiert eine synthetische Säule vom Typ varchar, die das Partitionierungsschema für die Tabelle darstellt, das dem Konnektor beim Generieren von Splits hilft. Der Konnektor ändert nicht die eigentliche Tabellendefinition.

Leistung

Postgre unterstützt native Partitionen. SQL Der Athena SQL Postgre-Konnektor kann Daten von diesen Partitionen parallel abrufen. Wenn Sie sehr große Datenmengen mit einheitlicher Partitionsverteilung abfragen möchten, wird eine native Partitionierung dringend empfohlen.

Der Athena SQL Postgre-Konnektor führt einen Prädikat-Pushdown durch, um die Anzahl der von der Abfrage gescannten Daten zu verringern. LIMITKlauseln, einfache Prädikate und komplexe Ausdrücke werden an den Konnektor übertragen, um die Menge der gescannten Daten zu reduzieren und die Laufzeit der Abfrage zu verkürzen. Die Auswahl einer Teilmenge von Spalten führt jedoch manchmal zu einer längeren Laufzeit der Abfrageausführung.

LIMITKlauseln

Eine LIMIT N-Anweisung reduziert die von der Abfrage durchsuchten Daten. Mit LIMIT N-Pushdown gibt der Konnektor nur N Zeilen an Athena zurück.

Prädikate

Ein Prädikat ist ein Ausdruck in der WHERE Klausel einer SQL Abfrage, der einen booleschen Wert ergibt und Zeilen auf der Grundlage mehrerer Bedingungen filtert. Der Athena SQL Postgre-Konnektor kann diese Ausdrücke kombinieren und sie direkt an Postgre weiterleiten, um die Funktionalität SQL zu erweitern und die Menge der gescannten Daten zu reduzieren.

Die folgenden Operatoren für Athena SQL Postgre-Konnektoren unterstützen den Prädikats-Pushdown:

  • Boolescher Wert:, ODER, AND NOT

  • Gleichheit:EQUAL, NOT _, _EQUAL, LESS _ LESS _OR_THAN, _EQUAL, THAN _ GREATER _OR_THAN, GREATER IS_ _, THAN _IFEQUAL, IS_ DISTINCT FROM NULL NULL

  • Arithmetik:,,,, ADD SUBTRACT MULTIPLY DIVIDE MODULUS NEGATE

  • Andere: LIKE _PATTERN, IN

Beispiel für einen kombinierten Pushdown

Kombinieren Sie für erweiterte Abfragefunktionen die Pushdown-Typen wie im folgenden Beispiel:

SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d))
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%') 
LIMIT 10;

Passthrough-Abfragen

Der SQL Postgre-Connector unterstützt Passthrough-Abfragen. Passthrough-Abfragen verwenden eine Tabellenfunktion, um Ihre vollständige Abfrage zur Ausführung an die Datenquelle weiterzuleiten.

Um Passthrough-Abfragen mit Postgre zu verwendenSQL, können Sie die folgende Syntax verwenden:

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

Mit der folgenden Beispielabfrage wird eine Abfrage an eine Datenquelle in Postgre weitergeleitet. SQL Die Abfrage wählt alle Spalten in der customer Tabelle aus und begrenzt die Ergebnisse auf 10.

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

Weitere Ressourcen

Die neuesten Informationen zur JDBC Treiberversion finden Sie in der Datei pom.xml für den SQL Postgre-Connector auf GitHub .com.

Weitere Informationen zu diesem Connector finden Sie auf der entsprechenden Website unter GitHub .com.