Amazon MSK - Amazon Timestream
Nutzung von Managed Service für Apache FlinkKafka Connect verwenden

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon MSK

Verwenden von Managed Service for Apache Flink zum Senden von Amazon MSK Daten an Timestream für LiveAnalytics

Sie können Daten von Amazon MSK nach senden, Timestream indem Sie einen Datenkonnektor erstellen, der dem Timestream Beispieldatenkonnektor für Managed Service für Apache Flink ähnelt. Weitere Informationen finden Sie unter Amazon Managed Service für Apache Flink.

Verwenden von Kafka Connect zum Senden von MSK Amazon-Daten an Timestream für LiveAnalytics

Sie können Kafka Connect verwenden, um Ihre Zeitreihendaten Amazon MSK direkt in Timestream for aufzunehmen. LiveAnalytics

Wir haben ein Beispiel für einen Kafka Sink Connector erstellt. Timestream Wir haben auch ein Beispiel für einen Apache jMeter Testplan für die Veröffentlichung von Daten zu einem Kafka-Thema erstellt, sodass die Daten vom Thema über den Timestream Kafka Sink Connector zu einem Timestream für eine Tabelle fließen können. LiveAnalytics All diese Artefakte sind auf verfügbar. GitHub

Anmerkung

Java 11 ist die empfohlene Version für die Verwendung des Timestream Kafka Sink Connectors. Wenn Sie mehrere Java-Versionen haben, stellen Sie sicher, dass Sie Java 11 in Ihre HOME Umgebungsvariable JAVA _ exportieren.

Eine Beispielanwendung erstellen

Gehen Sie zunächst wie folgt vor.

  1. Erstellen Sie in Timestream for LiveAnalytics eine Datenbank mit dem Namenkafkastream.

    Ausführliche Anweisungen finden Sie im Erstellen einer -Datenbank Verfahren.

  2. Erstellen Sie in Timestream for LiveAnalytics eine Tabelle mit dem Namenpurchase_history.

    Ausführliche Anweisungen finden Sie im Erstellen einer Tabelle Verfahren.

  3. Folgen Sie den Anweisungen in, um Folgendes zu erstellen:, und.

    • Ein Amazon MSK Cluster

    • Eine Amazon EC2 Instanz, die als Kafka-Producer-Client-Computer konfiguriert ist

    • Ein Kafka-Thema

    Eine ausführliche Anleitung finden Sie in den Voraussetzungen für das Projekt kafka_ingestor.

  4. Klonen Sie das Timestream Kafka Sink Connector-Repository.

    Eine ausführliche Anleitung finden Sie unter Ein Repository klonen GitHub auf.

  5. Kompilieren Sie den Plugin-Code.

    Ausführliche Anweisungen finden Sie unter Connector — GitHub Aus dem Quellcode erstellen.

  6. Laden Sie die folgenden Dateien in einen S3-Bucket hoch: Folgen Sie den Anweisungen unter.

    • Die JAR-Datei (kafka-connector-timestream-> VERSION <- jar-with-dependencies .jar) aus dem Verzeichnis /target

    • Die Beispiel-JSON-Schemadatei,purchase_history.json.

    Ausführliche Anweisungen finden Sie im Amazon S3 Benutzerhandbuch unter Hochladen von Objekten.

  7. Erstellen Sie zwei VPC Endpunkte. Diese Endpunkte würden vom MSK Connector verwendet, um auf die Ressourcen zuzugreifen, die verwendet werden. AWS PrivateLink

    • Einer für den Zugriff auf den Bucket Amazon S3

    • Eine für den Zugriff auf den Timestream für die LiveAnalytics Tabelle.

    Ausführliche VPCAnweisungen finden Sie unter Endpoints.

  8. Erstellen Sie ein benutzerdefiniertes Plugin mit der hochgeladenen JAR-Datei.

    Ausführliche Anweisungen finden Sie unter Plugins im Amazon MSK Entwicklerhandbuch.

  9. Erstellen Sie eine benutzerdefinierte Worker-Konfiguration mit den unter Worker-Konfigurationsparametern beschriebenen JSON Inhalten. Folgen Sie den Anweisungen unter

    Ausführliche Anweisungen finden Sie im Amazon MSK Entwicklerhandbuch unter Erstellen einer benutzerdefinierten Worker-Konfiguration.

  10. Erstellen Sie eine IAM Dienstausführungsrolle.

    Ausführliche Anweisungen finden Sie unter IAM Servicerolle.

  11. Erstellen Sie einen Amazon MSK Connector mit dem benutzerdefinierten Plugin, der benutzerdefinierten Worker-Konfiguration und der IAM Dienstausführungsrolle, die in den vorherigen Schritten erstellt wurden, sowie mit der Beispiel-Connector-Konfiguration.

    Ausführliche Anweisungen finden Sie im Amazon MSK Entwicklerhandbuch unter Einen Connector erstellen.

    Achten Sie darauf, die Werte der folgenden Konfigurationsparameter mit den entsprechenden Werten zu aktualisieren. Einzelheiten finden Sie unter Konnektor-Konfigurationsparameter.

    • aws.region

    • timestream.schema.s3.bucket.name

    • timestream.ingestion.endpoint

    Die Erstellung des Konnektors dauert 5—10 Minuten. Die Pipeline ist bereit, wenn ihr Status auf geändert wird. Running

  12. Veröffentlichen Sie einen kontinuierlichen Nachrichtenstrom zum Schreiben von Daten zu dem erstellten Kafka-Thema.

    Ausführliche Anweisungen finden Sie unter So verwenden Sie es.

  13. Führen Sie eine oder mehrere Abfragen aus, um sicherzustellen, dass die Daten von an MSK Connect Amazon MSK to the Timestream for LiveAnalytics table gesendet werden.

    Ausführliche Anweisungen finden Sie im Ausführen einer -Abfrage Verfahren.

Weitere Ressourcen

Der Blog Serverless Data Ingestion from your Kafka clusters into Timestream for LiveAnalytics using Kafka Connect erklärt die Einrichtung einer end-to-end Pipeline mit dem Timestream for Kafka Sink Connector, angefangen von einem LiveAnalytics Kafka-Producer-Client-Computer, der den jMeter Apache-Testplan verwendet, um Tausende von Beispielnachrichten zu einem Kafka-Thema zu veröffentlichen, bis hin zur Überprüfung der aufgenommenen Datensätze in einem Timestream for table. LiveAnalytics