Amazon Athena Athena-Anschluss OpenSearch

Stellen Sie den Konnektor für Ihr AWS-Konto mithilfe der Athena-Konsole oder AWS Serverless Application Repository bereit. Weitere Informationen finden Sie unter Erstellen Sie eine Datenquellenverbindung oder Verwenden Sie den AWS Serverless Application Repository , um einen Datenquellenconnector bereitzustellen.

Domain — Ein Name, den dieser Connector dem Endpunkt Ihrer OpenSearch Instance zuordnet. Die Domain wird auch als Datenbankname verwendet. Für OpenSearch Instances, die innerhalb des Amazon OpenSearch Service definiert sind, ist die Domain automatisch auffindbar. Für andere Instances müssen Sie eine Zuordnung zwischen dem Domainnamen und dem Endpunkt bereitstellen.

Index — Eine in Ihrer OpenSearch Instance definierte Datenbanktabelle.

Mapping – Wenn ein Index eine Datenbanktabelle ist, dann ist das Mapping sein Schema (d. h. die Definitionen seiner Felder und Attribute).

Dieser Konnektor unterstützt sowohl das Abrufen von Metadaten aus der OpenSearch Instanz als auch von der AWS Glue Data Catalog. Wenn der Connector eine AWS Glue Datenbank und eine Tabelle findet, die Ihren OpenSearch Domänen- und Indexnamen entsprechen, versucht der Connector, sie für die Schemadefinition zu verwenden. Wir empfehlen Ihnen, Ihre AWS Glue Tabelle so zu erstellen, dass sie eine Obermenge aller Felder in Ihrem OpenSearch Index darstellt.

Dokument – Ein Datensatz innerhalb einer Datenbanktabelle.

Datenstrom – Zeitbasierte Daten, die aus mehreren Hintergrundindizes bestehen. Weitere Informationen finden Sie unter Datenstreams in der OpenSearch Dokumentation und Erste Schritte mit Datenströmen im Amazon OpenSearch Service Developer Guide.

spill_bucket – Gibt den Amazon S3-Bucket für Daten an, die die Lambda-Funktionsgrenzen überschreiten.

spill_prefix – (Optional) Ist standardmäßig ein Unterordner im angegebenen spill_bucket genannt athena-federation-spill. Wir empfehlen Ihnen, einen Amazon-S3-Speicher-Lebenszyklus an dieser Stelle zu konfigurieren, um die Überlaufe zu löschen, die älter als eine festgelegte Anzahl von Tagen oder Stunden sind.

spill_put_request_headers — (Optional) Eine JSON kodierte Zuordnung von Anforderungsheadern und Werten für die Amazon S3 putObject S3-Anfrage, die zum Verschicken verwendet wird (z. B.). {"x-amz-server-side-encryption" : "AES256"} Weitere mögliche Header finden Sie PutObjectin der Amazon Simple Storage Service API Reference.

kms_key_id — (Optional) Standardmäßig werden alle Daten, die auf Amazon S3 übertragen werden, mit dem GCM authentifizierten Verschlüsselungsmodus und einem zufällig AES generierten Schlüssel verschlüsselt. Damit Ihre Lambda-Funktion stärkere Verschlüsselungsschlüssel verwendet, die von KMS like generiert wurdena7e63k4b-8loc-40db-a2a1-4d0en2cd8331, können Sie eine KMS Schlüssel-ID angeben.

disable_spill_encryption – (Optional) Bei Einstellung auf True, wird die Spill-Verschlüsselung deaktiviert. Die Standardeinstellung ist False so, dass Daten, die auf S3 übertragen werden, mit AES - verschlüsselt werden GCM — entweder mit einem zufällig generierten Schlüssel oder KMS zur Generierung von Schlüsseln. Das Deaktivieren der Überlauf-Verschlüsselung kann die Leistung verbessern, insbesondere wenn Ihr Überlauf-Standort eine serverseitige Verschlüsselung verwendet.

disable_glue — (Optional) Falls vorhanden und auf true gesetzt, versucht der Connector nicht, zusätzliche Metadaten von abzurufen. AWS Glue

query_timeout_cluster – Der Timeout-Zeitraum in Sekunden für Cluster-Integritätsabfragen, die bei der Generierung parallel Scans verwendet werden.

query_timeout_search – Die Zeitüberschreitungsdauer in Sekunden für Suchanfragen, die beim Abrufen von Dokumenten aus einem Index verwendet werden.

auto_discover_endpoint – Boolesch. Der Standardwert ist true. Wenn Sie den OpenSearch Amazon-Service verwenden und diesen Parameter auf true setzen, kann der Connector Ihre Domains und Endpunkte automatisch erkennen, indem er die entsprechenden Beschreib- oder API Auflistungsvorgänge für den OpenSearch Service aufruft. Für jeden anderen OpenSearch Instance-Typ (z. B. selbst gehostet) müssen Sie die zugehörigen Domain-Endpunkte in der Variablen angeben. domain_mapping Fallsauto_discover_endpoint=true, verwendet der Connector AWS Anmeldeinformationen, um sich beim Service zu authentifizieren. OpenSearch Andernfalls ruft der Connector die Anmeldeinformationen für Benutzername und Passwort AWS Secrets Manager über die domain_mapping Variable ab.

domain_mapping – Wird nur verwendet, wenn auto_discover_endpoint auf „false“ (falsch) gesetzt ist und die Zuordnung zwischen Domainnamen und den zugehörigen Endpunkten definiert. Die domain_mapping Variable kann mehrere OpenSearch Endpunkte im folgenden Format aufnehmen:

domain1=endpoint1,domain2=endpoint2,domain3=endpoint3,...       

Für die Authentifizierung an einem OpenSearch Endpunkt unterstützt der Konnektor Ersatzzeichenfolgen, die in dem Format ${SecretName}: eingegeben werden, aus dem der Benutzername und das Passwort abgerufen wurden. AWS Secrets Manager Der Doppelpunkt (:) am Ende des Ausdrucks dient als Trennzeichen vom Rest des Endpunkts.

Im folgenden Beispiel wird das opensearch-creds-Secret verwendet.

movies=https://${opensearch-creds}:search-movies-ne...qu---us-east-1---es.amazonaws.com     

Bei der Ausführung wird ${opensearch-creds} wie im folgenden Beispiel als Benutzername und -Passwort wiedergegeben.

movies=https://myusername@mypassword:search-movies-ne...qu---us-east-1---es.amazonaws.com

Im domain_mapping-Parameter kann jedes Domain-Endpunkt-Paar ein anderes Secret verwenden. Das Geheimnis selbst muss im Format user_name @ angegeben werden. password Obwohl das Passwort eingebettete @ Zeichen enthalten kann, @ dient das erste Zeichen als Trennzeichen vonuser_name.

Es ist auch wichtig zu beachten, dass das Komma (,) und das Gleichheitszeichen (=) von diesem Konnektor als Trennzeichen für die Domain-Endpunkt-Paare verwendet werden. Aus diesem Grund sollten Sie sie nicht innerhalb des gespeicherten Secrets verwenden.

Derzeit unterstützt der Konnektor nur die OpenSearch in der vorherigen Tabelle aufgeführten AWS Glue Datentypen.

Ein scaled_float ist eine Gleitkommazahl, die mit einem festen doppelten Skalierungsfaktor skaliert und als BIGINT in Apache Arrow dargestellt wird. Beispielsweise wird 0,756 mit einem Skalierungsfaktor von 100 auf 76 gerundet.

Um einen scaled_float in zu definieren AWS Glue, müssen Sie den array Spaltentyp auswählen und das Feld im Format SCALED _ FLOAT (scaling_factor) deklarieren.

Das folgende Beispiele sind gültig:

SCALED_FLOAT(10.51) 
SCALED_FLOAT(100) 
SCALED_FLOAT(100.0)

Das folgende Beispiele sind nicht gültig:

SCALED_FLOAT(10.) 
SCALED_FLOAT(.5)

Bei der Konvertierung von date_nanos zu DATEMILLI werden Nanosekunden auf die nächste Millisekunde gerundet. Zulässige Werte für date und date_nanos beinhalten, sind aber nicht beschränkt auf, die folgenden Formate:

"2020-05-18T10:15:30.123456789" 
"2020-05-15T06:50:01.123Z" 
"2020-05-15T06:49:30.123-05:00" 
1589525370001 (epoch milliseconds)

An OpenSearch binary ist eine Zeichenkettendarstellung eines Binärwerts, der mit a codiert wurde Base64 und in einen VARCHAR Wert umgewandelt wird.

Einen Artikel zur Verwendung des Amazon OpenSearch Athena-Connectors zur Abfrage von Daten in Amazon OpenSearch Service und Amazon S3 in einer einzigen Abfrage finden Sie unter Daten in Amazon OpenSearch Service mithilfe SQL von Amazon Athena abfragen im AWS Big Data-Blog.

Weitere Informationen zu diesem Connector finden Sie auf der entsprechenden Website auf GitHub .com.