Erste Schritte mit Amazon Managed Service für Apache Flink () DataStream API - Managed Service für Apache Flink
Überprüfen Sie die AnwendungskomponentenErfüllen Sie die erforderlichen Voraussetzungen

Amazon Managed Service für Apache Flink war zuvor als Amazon Kinesis Data Analytics für Apache Flink bekannt.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erste Schritte mit Amazon Managed Service für Apache Flink () DataStream API

In diesem Abschnitt werden Ihnen die grundlegenden Konzepte von Managed Service für Apache Flink und die Implementierung einer Anwendung in Java mithilfe von vorgestellt. DataStream API Es werden die verfügbaren Optionen für die Erstellung und das Testen von Anwendungen beschrieben. Er enthält auch Anweisungen zur Installation der Tools, die Sie benötigen, um die Tutorials in diesem Handbuch abzuschließen und Ihre erste Anwendung zu erstellen.

Themen

Sehen Sie sich die Komponenten der Anwendung Managed Service für Apache Flink an

Anmerkung

Amazon Managed Service für Apache Flink unterstützt alle Apache Flink APIs und potenziell alle JVM Sprachen. Weitere Informationen finden Sie unter Flink's. APIs

Je nachdem, API was Sie wählen, unterscheiden sich die Struktur der Anwendung und die Implementierung geringfügig. Dieses Tutorial „Erste Schritte“ behandelt die Implementierung der Anwendungen mithilfe von DataStream API in Java.

Zur Verarbeitung von Daten verwendet Ihre Managed Service for Apache Flink-Anwendung eine Java-Anwendung, die mithilfe der Apache Flink-Laufzeit Eingaben verarbeitet und Ausgaben erzeugt.

Eine typische Managed Service for Apache Flink-Anwendung besteht aus den folgenden Komponenten:

  • Laufzeiteigenschaften: Sie können Laufzeiteigenschaften verwenden, um Konfigurationsparameter an Ihre Anwendung zu übergeben, um sie zu ändern, ohne den Code zu ändern und erneut zu veröffentlichen.

  • Quellen: Die Anwendung verwendet Daten aus einer oder mehreren Quellen. Eine Quelle verwendet einen Konnektor, um Daten aus einem externen System zu lesen, z. B. einem Kinesis-Datenstream oder einem Kafka-Bucket. Weitere Informationen finden Sie unter Fügen Sie Streaming-Datenquellen hinzu.

  • Operatoren: Die Anwendung verarbeitet Daten mithilfe eines oder mehrerer Operatoren. Ein Operator kann Daten transformieren, anreichern oder aggregieren. Weitere Informationen finden Sie unter Operatoren.

  • Senken: Die Anwendung sendet Daten über Senken an externe Quellen. Eine Senke verwendet einen Konnektor v, um Daten an einen Kinesis-Datenstrom, ein Kafka-Thema, Amazon S3 oder eine relationale Datenbank zu senden. Sie können auch einen speziellen Anschluss verwenden, um die Ausgabe nur zu Entwicklungszwecken zu drucken. Weitere Informationen finden Sie unter Schreiben Sie Daten mithilfe von Senken.

Ihre Anwendung erfordert einige externe Abhängigkeiten, z. B. die Flink-Konnektoren, die Ihre Anwendung verwendet, oder möglicherweise eine Java-Bibliothek. Um in Amazon Managed Service für Apache Flink ausgeführt zu werden, muss die Anwendung zusammen mit den Abhängigkeiten in ein Fat-Jar gepackt und in einen Amazon S3 S3-Bucket hochgeladen werden. Anschließend erstellen Sie eine Managed Service für Apache Flink-Anwendung. Sie übergeben den Speicherort des Codepakets zusammen mit allen anderen Laufzeitkonfigurationsparametern.

Dieses Tutorial zeigt, wie Sie Apache Maven verwenden, um die Anwendung zu verpacken, und wie Sie die Anwendung lokal in IDE einer beliebigen Umgebung ausführen.

Erfüllen Sie die Voraussetzungen für das Abschließen der Übungen

Zur Durchführung der Schritte in dieser Anleitung benötigen Sie Folgendes:

  • Git-Client. Installiere den Git-Client, falls du es noch nicht getan hast.

  • Java Development Kit (JDK) Version 11. Installieren Sie Java JDK 11 und stellen Sie die JAVA_HOME Umgebungsvariable so ein, dass sie auf Ihren JDK Installationsort verweist. Wenn Sie keine JDK 11 haben, können Sie Amazon Coretto 11 oder einen anderen Standard JDK Ihrer Wahl verwenden.

    • Führen Sie den folgenden Befehl aus, um zu überprüfen, ob Sie das korrekt JDK installiert haben. Die Ausgabe ist anders, wenn Sie ein JDK anderes als Amazon Corretto verwenden. Stellen Sie sicher, dass die Version 11.x ist.

      $ java --version

openjdk 11.0.23 2024-04-16 LTS
OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS)
OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)

  • Apache Maven. Installieren Sie Apache Maven, falls Sie dies noch nicht getan haben. Informationen zur Installation finden Sie unter Apache Maven installieren.

    • Zum Testen Ihrer Apache Maven-Installation geben Sie Folgendes ein:

    $ mvn -version

  • IDEfür die lokale Entwicklung. Wir empfehlen Ihnen, eine Entwicklungsumgebung wie Eclipse, Java Neon oder IntelliJ IDEA zu verwenden, um Ihre Anwendung zu entwickeln und zu kompilieren.

    • Zum Testen Ihrer Apache Maven-Installation geben Sie Folgendes ein:

    $ mvn -version

Um zu beginnen, gehen Sie zu Richten Sie ein AWS Konto ein und erstellen Sie einen Administratorbenutzer.