Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon-Athena-DocumentDB-Konnektor

Der Amazon Athena DocumentDB-Connector ermöglicht es Athena, mit Ihren DocumentDB-Instances zu kommunizieren, sodass Sie Ihre DocumentDB-Daten mit abfragen können. SQL Der Konnektor funktioniert auch mit jedem Endpunkt, der mit MongoDB kompatibel ist.

Im Gegensatz zu herkömmlichen relationalen Datenspeichern haben Amazon-DocumentDB-Sammlungen kein festgelegtes Schema. DocumentDB besitzt keinen Metadatenspeicher. Jeder Eintrag in einer DocumentDB-Sammlung kann unterschiedliche Felder und Datentypen haben.

Der DocumentDB-Konnektor unterstützt zwei Mechanismen zum Generieren von Tabellenschemainformationen: grundlegende Schemainferenz und AWS Glue Data Catalog Metadaten.

Die Schemainferenz ist die Standardeinstellung. Mit dieser Option werden eine kleine Anzahl von Dokumenten in Ihrer Sammlung gescannt, eine Vereinigung aller Felder gebildet und Felder mit nicht überlappenden Datentypen erzwungen. Diese Option eignet sich gut für Sammlungen, die größtenteils einheitliche Einträge haben.

Für Sammlungen mit einer größeren Vielfalt an Datentypen unterstützt der Konnektor das Abrufen von Metadaten aus AWS Glue Data Catalog. Wenn der Konnektor eine sieht AWS Glue Datenbank und Tabelle, die Ihren DocumentDB-Datenbank- und Sammlungsnamen entsprechen, ihre Schemainformationen bezieht sie aus den entsprechenden AWS Glue Tabelle. Wenn du deine erstellst AWS Glue Tabelle, wir empfehlen, dass Sie sie zu einer Obermenge aller Felder machen, auf die Sie möglicherweise von Ihrer DocumentDB-Sammlung aus zugreifen möchten.

Wenn Sie Lake Formation in Ihrem Konto aktiviert haben, ist die IAM Rolle für Ihren Athena Federated Lambda Connector, den Sie bereitgestellt haben, in AWS Serverless Application Repository muss in Lake Formation Lesezugriff auf das haben AWS Glue Data Catalog.

Voraussetzungen

Parameter

Verwenden Sie die Lambda-Umgebungsvariablen in diesem Abschnitt, um den DocumentDB-Konnektor zu konfigurieren.

Angeben von Verbindungszeichenfolgen

Sie können eine oder mehrere Eigenschaften angeben, die die DocumentDB-Verbindungsdetails für die DocumentDB-Instances definieren, die Sie mit dem Konnektor verwenden. Legen Sie dazu eine Lambda-Umgebungsvariable fest, die dem Katalognamen entspricht, den Sie in Athena verwenden möchten. Angenommen, Sie möchten die folgenden Abfragen verwenden, um zwei verschiedene DocumentDB-Instances von Athena abzufragen:

SELECT * FROM "docdb_instance_1".database.table

SELECT * FROM "docdb_instance_2".database.table

Bevor Sie diese beiden SQL Anweisungen verwenden können, müssen Sie Ihrer Lambda-Funktion zwei Umgebungsvariablen hinzufügen: docdb_instance_1 unddocdb_instance_2. Der Wert für jede sollte eine Document-D-Verbindungszeichenfolge mit folgendem Format sein:

mongodb://:@:/?ssl=true&ssl_ca_certs=rds-combined-ca-bundle.pem&replicaSet=rs0      

Verwendung von Secrets

Sie können optional verwenden AWS Secrets Manager für einen Teil oder den gesamten Wert für Ihre Verbindungszeichenfolgendetails. Um die Athena Federated Query-Funktion mit Secrets Manager zu verwenden, sollte die mit Ihrem Lambda VPC verbundene Funktion über einen Internetzugang oder einen VPCEndpunkt verfügen, um eine Verbindung zu Secrets Manager herzustellen.

Wenn Sie die Syntax ${my_secret} verwenden, um den Namen eines Secrets aus dem Secrets Manager in Ihre Verbindungszeichenfolge einzufügen, ersetzt der Konnektor ${my_secret} genau durch den Klartextwert aus Secrets Manager. Secrets sollten als Klartext-Secrets mit dem Wert <username>:<password> gespeichert werden. Secrets, die als {username:<username>,password:<password>} gespeichert wurden, werden nicht ordnungsgemäß an die Verbindungszeichenfolge übergeben.

Secrets können auch vollständig für die gesamte Verbindungszeichenfolge verwendet werden, und der Benutzername und das Passwort können innerhalb des Secrets definiert werden.

Angenommen, Sie setzen die Lambda-Umgebungsvariable für docdb_instance_1 auf den folgenden Wert:

mongodb://${docdb_instance_1_creds}@myhostname.com:123/?ssl=true&ssl_ca_certs=rds-combined-ca-bundle.pem&replicaSet=rs0         

Die Athena Query Federation versucht SDK automatisch, ein Secret mit dem Namen Secrets Manager abzurufen und diesen Wert anstelle docdb_instance_1_creds von einzufügen. ${docdb_instance_1_creds} Ein beliebiger Teil der Verbindungszeichenfolge, der in der ${ }-Zeichenkombination enthalten ist, wird als Secret aus Secrets Manager interpretiert. Wenn Sie einen geheimen Namen angeben, den der Konnektor in Secrets Manager nicht finden kann, ersetzt der Konnektor den Text nicht.

Einrichten von Datenbanken und Tabellen in AWS Glue

Da die integrierte Schemainferenzfunktion des Connectors eine begrenzte Anzahl von Dokumenten scannt und nur eine Teilmenge von Datentypen unterstützt, sollten Sie möglicherweise Folgendes verwenden AWS Glue stattdessen nach Metadaten.

Um ein zu aktivieren AWS Glue Tabelle zur Verwendung mit Amazon DocumentDB, Sie benötigen eine AWS Glue Datenbank und Tabelle für die DocumentDB-Datenbank und -Sammlung, für die Sie zusätzliche Metadaten bereitstellen möchten.

Datentypunterstützung

In diesem Abschnitt werden die Datentypen aufgeführt, die der DocumentDB-Konnektor für Schemainferenz verwendet, und die Datentypen, wenn AWS Glue Metadaten werden verwendet.

Datentypen für Schemainferenz

Das Schemainferenzfeature des DocumentDB-Konnektors versucht, Werte als zu einem der folgenden Datentypen gehörend abzuleiten. Die Tabelle zeigt die entsprechenden Datentypen für Amazon DocumentDB, Java und Apache Arrow.

AWS Glue Datentypen

Wenn du verwendest AWS Glue Für zusätzliche Metadaten können Sie die folgenden Datentypen konfigurieren. Die Tabelle zeigt die entsprechenden Datentypen für AWS Glue und Apache Arrow.

Erforderliche Berechtigungen

Vollständige Informationen zu den IAM Richtlinien, die für diesen Connector erforderlich sind, finden Sie im Policies Abschnitt der Datei athena-docdb.yaml. In der folgenden Liste sind die erforderlichen Berechtigungen zusammengefasst.

Leistung

Der Amazon-DocumentDB-Konnektor von Athena unterstützt derzeit keine parallelen Scans, sondern versucht, Prädikate als Teil seiner DocumentDB-Abfragen nach unten zu verschieben. Prädikate für Indizes in Ihrer DocumentDB-Sammlung führen zu deutlich weniger gescannten Daten.

Die Lambda-Funktion führt Projektions-Pushdown durch, um die von der Abfrage gescannten Daten zu reduzieren. Die Auswahl einer Teilmenge von Spalten führt jedoch manchmal zu einer längeren Laufzeit der Abfrageausführung. LIMIT-Klauseln reduzieren die Menge der gescannten Daten, aber wenn Sie kein Prädikat angeben, sollten Sie davon ausgehen, dass SELECT-Abfragen mit einer LIMIT-Klausel mindestens 16 MB an Daten scannen.

Passthrough-Abfragen

Der Athena Amazon DocumentDB DocumentDB-Connector unterstützt Passthrough-Abfragen und ist NO-basiert. SQL Informationen zum Abfragen von Amazon DocumentDB finden Sie unter Abfragen im Amazon DocumentDB Developer Guide.

Verwenden Sie die folgende Syntax, um Passthrough-Abfragen mit Amazon DocumentDB zu verwenden:

SELECT * FROM TABLE(
        system.query(
            database => 'database_name',
            collection => 'collection_name',
            filter => '{query_syntax}'
        ))

Im folgenden Beispiel wird die example Datenbank innerhalb der TPCDS Sammlung abgefragt und dabei nach allen Büchern mit dem Titel Bill of Rights gefiltert.

SELECT * FROM TABLE(
        system.query(
            database => 'example',
            collection => 'tpcds',
            filter => '{title: "Bill of Rights"}'
        ))

Weitere Ressourcen