Tutorial: Den AWS Glue Connector für Elasticsearch verwenden

Melden Sie sich an der AWS Secrets Manager -Konsole an.

Wählen Sie entweder auf der Service-Einführungsseite oder der Secrets-Listenseite die Option Store a new secret (Neues Secret speichern).

Wählen Sie auf der Seite Store a new secret (Ein neues Secret speichern) die Option Other type of secret (Andere Art von Secret). Bei dieser Option müssen die Struktur und die Details Ihres Secrets angeben.

Fügen Sie ein Schlüssel - und Wertepaar für den OpenSearch Cluster-Benutzernamen hinzu. Beispielsweise:

es.net.http.auth.user: username

Wählen Sie + Add row (Zeile hinzufügen) aus und geben Sie ein weiteres Schlüssel-Wert-Paar für das Passwort ein. Beispielsweise:

es.net.http.auth.pass: password

Wählen Sie Weiter.

Geben Sie einen Secret-Namen ein. Zum Beispiel: my-es-secret. Optional können Sie eine Beschreibung eingeben.

Notieren Sie den Secret-Namen, der später in diesem Tutorial verwendet wird, und wählen Sie Next (Weiter) aus.

Wählen Sie Next (Weiter) aus und danach Store (Speichern), um das Secret zu erstellen.

Wenn Sie Ihr AWS Konto noch nicht für die Verwendung von License Manager konfiguriert haben, gehen Sie wie folgt vor:

1. Öffnen Sie die AWS License Manager Konsole unter https://console.aws.amazon.com/license-manager.

2. Wählen Sie Create customer managed license (Kundenverwaltete Lizenz erstellen) aus.

3. Wählen Sie im Fenster mit den IAMBerechtigungen (einmalige Einrichtung) die Option Ich erteile AWS License Manager die erforderlichen Berechtigungen und anschließend Berechtigungen gewähren aus.

   Wenn Sie dieses Fenster nicht sehen, haben Sie bereits die erforderlichen Berechtigungen konfiguriert.

Öffnen Sie die AWS Glue Studio-Konsole unter https://console.aws.amazon.com/gluestudio/.

Erweitern Sie in der AWS Glue Studio Konsole das Menüsymbol ( ) und wählen Sie dann im Navigationsbereich Connectors aus.

Wählen Sie auf der Seite Connectors die Option Go to AWS Marketplace (Zu MKT wechseln) aus.

Geben Sie im Bereich AWS Glue Studio Produkte suchen den Text AWS Glue Connector for Elasticsearch in das Suchfeld ein und drücken Sie dann die Eingabetaste. AWS Marketplace

Wählen Sie den Namen des Connectors. AWS Glue -Connector für Elasticsearch aus.

Die Registerkarten auf der Produktseite für den Konnektor enthalten Informationen zum Konnektor. Wenn Sie bereit sind, fortzufahren, wählen Sie Continue to Subscribe (Abonnieren fortsetzen) aus.

Lesen Sie die Nutzungsbedingungen für die Software. Klicken Sie auf Accept Terms(Bedingungen akzeptieren).

Wenn der Abonnementvorgang abgeschlossen ist, wird die Benachrichtigung „Vielen Dank, dass Sie dieses Produkt abonniert haben! Sie können jetzt Ihre Software konfigurieren“ angezeigt. Oberhalb des Banners befindet sich die Schaltfläche Continue to Configuration (Weiter zur Konfiguration). Wählen Sie Continue to Configuration (Weiter zur Konfiguration) aus.

Wählen Sie die Option „Fulfillment“ auf der Seite Configure this software (Diese Software konfigurieren). Sie können entweder zwischen AWS Glue 1.0/2.0 oder 3.0 wählen. AWS Glue Wählen Sie dann Continue to Launch (Weiter zum Start) aus.

Wählen Sie auf der Seite Diese Software starten in der AWS Marketplace Konsole die Option Nutzungsanweisungen und dann den Link im daraufhin angezeigten Fenster aus.

Ihr Browser wird auf die AWS Glue Studio Konsolenseite Marketplace-Verbindung erstellen umgeleitet.

Geben Sie einen Namen für die Verbindung ein. Zum Beispiel: my-es-connection.

Wählen Sie im Abschnitt Connection access (Verbindungszugriff) bei Connection credential type (Anmeldeinformationstyp für die Verbindung) die Option Benutzername und Passwort aus.

Geben Sie als AWS secret den Namen Ihres Secrets ein. Zum Beispiel: my-es-secret.

Geben Sie im Abschnitt Netzwerkoptionen die VPC Informationen ein, um eine Verbindung zum OpenSearch Cluster herzustellen.

Wählen Sie Create connection and activate connector (Verbindung erstellen und Konnektor aktivieren) aus.

Konfigurieren Sie die in Überprüfen Sie die für ETL Jobs erforderlichen IAM Berechtigungen beschriebenen Berechtigungen.

Konfigurieren Sie die zusätzlichen Berechtigungen, die für die Verwendung von Konnektoren mit erforderlich sind AWS Glue Studio, wie unter beschriebenErforderliche Berechtigungen zur Verwendung von Konnektoren.

Wählen Sie AWS Glue Studio unter Connectors aus.

Wählen Sie aus der Liste Your connection (Ihre Verbindung) die soeben erstellte Verbindung und dann Create job (Auftrag erstellen) aus.

Wählen Sie im visuellen Auftragseditor den Datenquellknoten aus. Auf der Registerkarte rechts (Data source properties - Connector (Datenquelleigenschaften – Konnektor)) machen Sie zusätzliche Angaben für den Konnektor.

1. Wählen Sie Add schema (Schema hinzufügen) und geben Sie das Schema des Datensatzes in der Datenquelle ein. Verbindungen verwenden keine Tabellen, die im Datenkatalog gespeichert sind, was bedeutet, dass AWS Glue Studio der Datenkatalog das Schema der Daten nicht kennt. Sie müssen diese Schemainformationen manuell angeben. Anweisungen zur Verwendung des Schema-Editors finden Sie unter Bearbeiten des Schemas in einem benutzerdefinierten Transformationsknoten.

2. Klappen Sie Connection options (Verbindungsoptionen) aus.

3. Wählen Sie die Option Neue hinzufügen und geben Sie die Informationen ein, die für den Konnektor benötigt werden, der nicht in das AWS Geheimnis eingegeben wurde:

   • es.nodes: https://< OpenSearch Domain-Endpunkt>

   • es.port: 443

   • Pfad: Test

   • es.nodes.wan.only.: true

   Eine Erläuterung dieser Verbindungsoptionen finden Sie unter https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html.

Fügen Sie dem Diagramm einen Zielknoten hinzu.

Ihr Datenziel kann Amazon S3 sein, es kann aber auch Informationen aus einem AWS Glue Data Catalog oder einen Connector nutzen, um Daten an einem anderen Speicherort zu schreiben. Sie können beispielsweise eine Datenkatalogtabelle verwenden, um in eine Datenbank in Amazon zu schreibenRDS, oder Sie können einen Connector als Datenziel verwenden, um in AWS Glue Datenspeicher zu schreiben, die nicht nativ unterstützt werden.

Wenn Sie einen Connector für Ihr Datenziel auswählen, müssen Sie eine Verbindung auswählen, die für diesen Connector erstellt wurde. Außerdem müssen Sie, falls der Connectoranbieter das verlangt, Optionen hinzufügen, um dem Connector zusätzliche Informationen bereitzustellen. Wenn Sie eine Verbindung verwenden, die Informationen für ein AWS Geheimnis enthält, müssen Sie den Benutzernamen und das Kennwort für die Authentifizierung nicht in den Verbindungsoptionen angeben.

Fügen Sie optional zusätzliche Datenquellen und einen oder mehrere Transformationsknoten hinzu, wie unter Transformieren Sie Daten mit AWS Glue verwalteten Transformationen beschrieben.

Konfigurieren Sie die Auftragseigenschaften wie unter Ändern der Auftragseigenschaften beschrieben, beginnend mit Schritt 3, und speichern Sie den Auftrag.

Wählen Sie in der AWS Glue Studio Konsole auf der Visual Editor-Seite die Option Ausführen aus.

Um Informationen über die Auftragsausführung zu sehen, wählen Sie die Option Run Details (Details ausführen) im Bestätigungsbanner oder die Registerkarte Runs (Ausführungen) im visuellen Editor.