Managed Service für Apache Flink: So funktioniert's - Managed Service für Apache Flink
Programmieren Sie Ihre Apache Flink-AnwendungErstellen Sie Ihre Managed Service for Apache Flink-Anwendung

Amazon Managed Service für Apache Flink war zuvor als Amazon Kinesis Data Analytics für Apache Flink bekannt.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Managed Service für Apache Flink: So funktioniert's

Managed Service for Apache Flink ist ein vollständig verwalteter Amazon-Service, mit dem Sie eine Apache Flink-Anwendung zur Verarbeitung von Streaming-Daten verwenden können. Zuerst programmieren Sie Ihre Apache Flink-Anwendung und dann erstellen Sie Ihre Managed Service for Apache Flink-Anwendung.

Programmieren Sie Ihre Apache Flink-Anwendung

Eine Apache-Flink-Anwendung ist eine Java- oder Scala-Anwendung, die mit dem Apache-Flink-Framework erstellt wurde. Sie entwickeln und erstellen Ihre Apache-Flink-Anwendung lokal.

Anwendungen verwenden hauptsächlich entweder die DataStream APIoder die Tabelle API. Die anderen Apache Flink APIs stehen Ihnen ebenfalls zur Verfügung, werden jedoch weniger häufig beim Erstellen von Streaming-Anwendungen verwendet.

Die Funktionen der beiden APIs sind wie folgt:

DataStream API

Das Apache DataStream API Flink-Programmiermodell basiert auf zwei Komponenten:

  • Datenstrom: Die strukturierte Darstellung eines kontinuierlichen Flusses von Datensätzen.

  • Transformationsoperator: Nimmt einen oder mehrere Datenströme als Eingabe und erzeugt einen oder mehrere Datenströme als Ausgabe.

Anwendungen, die mit dem erstellt wurden DataStream API, tun Folgendes:

  • Lesen Sie Daten aus einer Datenquelle (z. B. einem Kinesis-Stream oder einem MSK Amazon-Thema).

  • Transformationen auf die Daten anwenden, z. B. Filterung, Aggregation oder Anreicherung.

  • Transformierte Daten in eine Datensenke schreiben.

Anwendungen, die das verwenden, DataStream API können in Java oder Scala geschrieben werden und können aus einem Kinesis-Datenstream, einem MSK Amazon-Thema oder einer benutzerdefinierten Quelle lesen.

Ihre Anwendung verarbeitet Daten mithilfe eines Konnektors. Apache Flink verwendet die folgenden Arten von Konnektoren:

  • Quelle: Ein Konnektor, der zum Lesen externer Daten verwendet wird.

  • Senke: Ein Konnektor, der zum Schreiben an externe Standorte verwendet wird.

  • Operator: Ein Konnektor, der zur Verarbeitung von Daten innerhalb der Anwendung verwendet wird.

Eine typische Anwendung besteht aus mindestens einem Datenstrom mit einer Quelle, einem Datenstrom mit einem oder mehreren Operatoren und mindestens einer Datensenke.

Weitere Informationen zur Verwendung von finden Sie unter DataStream API. DataStream APIKomponenten überprüfen

Tabelle API

Das API Programmiermodell von Apache Flink Table basiert auf den folgenden Komponenten:

  • Tabellenumgebung: Eine Schnittstelle zu zugrunde liegenden Daten, die Sie verwenden, um eine oder mehrere Tabellen zu erstellen und zu hosten.

  • Tabelle: Ein Objekt, das den Zugriff auf eine SQL Tabelle oder Ansicht ermöglicht.

  • Tabellenquelle: Wird verwendet, um Daten aus einer externen Quelle zu lesen, z. B. aus einem MSK Amazon-Thema.

  • Tabellenfunktion: Eine SQL Abfrage oder ein API Aufruf, der zur Transformation von Daten verwendet wird.

  • Tabellensenke: Wird verwendet, um Daten an einen externen Speicherort zu schreiben, z. B. in einen Amazon-S3-Bucket.

Mit der Tabelle erstellte Anwendungen API haben folgende Funktionen:

  • Erstellen einer TableEnvironment durch Herstellen einer Verbindung zu einer Table Source.

  • Erstellen Sie eine Tabelle, TableEnvironment indem Sie entweder SQL Abfragen oder API Tabellenfunktionen verwenden.

  • Führen Sie eine Abfrage für die Tabelle aus, indem Sie entweder Tabelle API oder SQL

  • Wenden Sie mithilfe von Tabellenfunktionen oder SQL Abfragen Transformationen auf die Ergebnisse der Abfrage an.

  • Schreiben der Abfrage- oder Funktionsergebnisse in eine Table Sink.

Anwendungen, die die Tabelle verwenden, API können in Java oder Scala geschrieben werden und Daten entweder mithilfe von API Aufrufen oder SQL Abfragen abfragen.

Weitere Hinweise zur Verwendung der Tabelle finden Sie API unterAPIKomponenten der Überprüfungstabelle.

Erstellen Sie Ihre Managed Service for Apache Flink-Anwendung

Managed Service für Apache Flink ist ein AWS Dienst, der eine Umgebung für das Hosten Ihrer Apache Flink-Anwendung erstellt und ihr die folgenden Einstellungen zur Verfügung stellt:

Sie können die Anwendung mit Managed Service für Apache Flink entweder über die Konsole oder die AWS CLI erstellen und ausführen. Erste Schritte zum Erstellen einer Anwendung mit Managed Service für Apache Flink finden Sie unter Tutorial: Erste Schritte mit dem DataStream API integrierten Managed Service für Apache Flink.