Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Wenn Daten in anderen Quellen als Amazon S3 vorliegen, können Sie Athena-Verbundabfrage verwenden, um die Daten direkt in diesen Quellen abzufragen oder um Pipelines zu erstellen, die Daten aus mehreren Datenquellen extrahieren und in Amazon S3 speichern. Mit Athena Federated Query können Sie SQL Abfragen für Daten ausführen, die in relationalen, nicht-relationalen, Objekt- und benutzerdefinierten Datenquellen gespeichert sind.
Athena verwendet Datenquellenconnectors, auf denen AWS Lambda Verbundabfragen ausgeführt werden. Ein Datenquellen-Connector ist ein Codestück, das zwischen der Zieldatenquelle und Athena übersetzen kann. Sie können sich einen Connector als eine Erweiterung der Abfrage-Engine von Athena vorstellen. Vorkonfigurierte Athena-Datenquellen-Konnektoren gibt es für Datenquellen wie Amazon CloudWatch Logs, Amazon DynamoDB, Amazon DocumentDB und Amazon RDS sowie JDBC konforme relationale Datenquellen wie My und Postgre unter der Apache SQL 2.0-Lizenz. SQL Sie können auch die Athena Query Federation verwendenSDK, um benutzerdefinierte Konnektoren zu schreiben. Um einen Datenquellen-Connector für Ihr Konto auszuwählen, zu konfigurieren und bereitzustellen, können Sie die Athena- und Lambda-Konsole oder AWS Serverless Application Repository verwenden. Nachdem Sie Datenquellenconnectors bereitgestellt haben, wird der Connector einem Katalog zugeordnet, den Sie in SQL Abfragen angeben können. Sie können SQL Anweisungen aus mehreren Katalogen kombinieren und sich über mehrere Datenquellen mit einer einzigen Abfrage erstrecken.
Wenn für eine Datenquelle eine Abfrage ausgeführt wird, ruft Athena den entsprechenden Connector auf, um die Teile der Tabellen zu identifizieren, die gelesen werden müssen, verwaltet die Parallelität und schiebt Filterprädikate nach unten. Basierend auf dem Benutzer, der die Abfrage übermittelt, können Connectors den Zugriff auf bestimmte Datenelemente zulassen oder einschränken. Connectors verwenden Apache Arrow als Format für die von einer Abfrage angeforderten zurückgegebenen Daten. Dies ermöglicht die Implementierung von Connectors in Sprachen wie C, C++, Java, Python und Rust. Da Connectors in Lambda verarbeitet werden, können sie für den Zugriff auf Daten aus beliebigen Cloud- oder On-Premises-Datenquellen verwendet werden, auf die Lambda zugreifen kann.
Um Ihren eigenen Datenquellen-Connector zu schreiben, können Sie den Athena Query Federation verwendenSDK, um einen der von Amazon Athena bereitgestellten und verwalteten vorgefertigten Konnektoren anzupassen. Sie können eine Kopie des Quellcodes aus dem GitHub Repository
Anmerkung
Drittanbieter haben möglicherweise die Athena Query Federation verwendet, SDK um Datenquellen-Konnektoren zu schreiben. Bei Support- oder Lizenzierungsproblemen mit diesen Datenquellen-Connectors wenden Sie sich bitte an Ihren Connector-Anbieter. Diese Konnektoren werden von weder getestet noch unterstützt AWS.
Eine Liste der Datenquellen-Connectors, die von Athena geschrieben und getestet wurden, finden Sie unter Verfügbare Datenquellenkonnektoren.
Informationen zum Schreiben Ihres eigenen Datenquellenconnectors finden Sie unter Beispiel für einen Athena-Konnektor
Überlegungen und Einschränkungen
-
Engine-Versionen — Athena Federated Query wird nur auf Athena-Engine-Version 2 und höher unterstützt. Weitere Informationen über Athena-Engine-Versionen finden Sie unter Athena-Engine-Versionierung.
-
Ansichten – Sie können Ansichten für verbundene Datenquellen erstellen und abfragen. Föderierte Ansichten werden in AWS Glue, nicht in der zugrunde liegenden Datenquelle gespeichert. Weitere Informationen finden Sie unter Föderierte Ansichten abfragen.
-
Bezeichner mit Trennzeichen — Bezeichner mit Trennzeichen (auch als Bezeichner in Anführungszeichen bezeichnet) beginnen und enden mit doppelten Anführungszeichen („). Derzeit werden durch Trennzeichen getrennte Bezeichner für Verbundabfragen in Athena nicht unterstützt.
-
Schreiboperationen – Schreiboperationen wie INSERT INTO werden nicht unterstützt. Ein Versuch, dies zu tun, kann zur Fehlermeldung führen:
Dieser Vorgang wird derzeit für externe Kataloge nicht unterstützt. -
Preise – Informationen zu den Preisen finden unter Amazon-Athena-Preise
. -
JDBCTreiber — Um den JDBC Treiber mit Verbundabfragen oder einem externen Hive-Metastore zu verwenden, fügen Sie ihn in Ihre Verbindungszeichenfolge ein.
MetadataRetrievalMethod=ProxyAPIJDBC Informationen zum JDBC Treiber finden Sie unter. Connect zu Amazon Athena her mit JDBC -
Secrets Manager — Um die Athena Federated Query-Funktion mit verwenden zu können AWS Secrets Manager, müssen Sie einen VPC privaten Amazon-Endpunkt für Secrets Manager konfigurieren. Weitere Informationen finden Sie unter Erstellen eines VPC privaten Secrets Manager Manager-Endpunkts im AWS Secrets Manager Benutzerhandbuch.
Erforderliche Berechtigungen
Datenquellen-Connectors benötigen möglicherweise Zugriff auf die folgenden Ressourcen, um ordnungsgemäß zu funktionieren. Wenn Sie einen vorgefertigten Connector verwenden, überprüfen Sie die Informationen für den Connector, um sicherzustellen, dass Sie Ihren VPC richtig konfiguriert haben. Sie müssen außerdem sicherstellen, dass IAM-Prinzipale, die Abfragen ausführen und Konnektoren erstellen, die nötigen Berechtigungen für die erforderlichen Aktionen besitzen. Weitere Informationen finden Sie unter Zugriff auf Athena Federated Query zulassen: Beispielrichtlinien .
-
Amazon S3 – Zusätzlich zum Schreiben von Abfrageergebnissen zum Athena-Abfrageergebnisspeicherort in Amazon S3 schreiben Daten-Connectors auch zu einem Spill-Bucket in Amazon S3. Konnektivität und Berechtigungen für diesen Amazon-S3-Standort sind erforderlich. Wir empfehlen, die Spill-to-Disk-Verschlüsselung für jeden Connector und die S3-Lebenszykluskonfiguration zu verwenden, um verschüttete Daten, die nicht mehr benötigt werden, ablaufen zu lassen.
-
Athena – Datenquellen benötigen Konnektivität mit Athena und umgekehrt, um den Abfragestatus zu prüfen und ein übermäßiges Scannen zu verhindern.
-
AWS Glue Data Catalog – Es sind Verbindungen und Berechtigungen erforderlich, wenn Ihr Connector Datenkatalog für ergänzende oder primäre Metadaten verwendet.
-
Amazon ECR — Lambda-Funktionen des Datenquellen-Connectors verwenden ein ECR Amazon-Image aus einem ECR Amazon-Repository. Der Benutzer, der den Connector bereitstellt, muss über die Berechtigungen
ecr:BatchGetImageund verfügen.ecr:GetDownloadUrlForLayerWeitere Informationen finden Sie unter ECRAmazon-Berechtigungen im AWS Lambda Entwicklerhandbuch.
Videos
Sehen Sie sich die folgenden Videos an, um mehr über die Verwendung von Athena Federated Query zu erfahren.
Video: Analysieren Sie die Ergebnisse einer Verbundabfrage in Amazon Athena in Amazon QuickSight
Das folgende Video zeigt, wie die Ergebnisse einer Athena-Verbundabfrage in Amazon analysiert werden. QuickSight
Video: Game Analytics Pipeline
Das folgende Video zeigt, wie Sie eine skalierbare Serverless-Data-Pipeline bereitstellen, um Telemetriedaten aus Spielen und Diensten mithilfe von Amazon-Athena-Verbundabfragen aufzunehmen, zu speichern und zu analysieren.
