View a markdown version of this page

Erstellen Sie eine Managed Service for Apache Flink-Anwendung und führen Sie sie aus - Managed Service für Apache Flink

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen Sie eine Managed Service for Apache Flink-Anwendung und führen Sie sie aus

In diesem Schritt erstellen Sie eine Managed Service for Apache Flink-Anwendung mit Kinesis-Datenströmen als Quelle und Senke.

Erstellen Sie abhängige Ressourcen

Bevor Sie für diese Übung eine Anwendung von Managed Service für Apache Flink erstellen, erstellen Sie die folgenden abhängigen Ressourcen:

  • Zwei Kinesis-Datenströme für Eingabe und Ausgabe

  • Ein Amazon S3-Bucket zum Speichern des Anwendungscodes

    Anmerkung

    In diesem Tutorial wird davon ausgegangen, dass Sie Ihre Anwendung in der Region us-east-1 US East (Nord-Virginia) bereitstellen. Wenn Sie eine andere Region verwenden, passen Sie alle Schritte entsprechend an.

Erstellen Sie zwei Amazon Kinesis-Datenstreams

Bevor Sie für diese Übung eine Anwendung von Managed Service für Apache Flink erstellen, erstellen Sie zwei Kinesis Data Streams (ExampleInputStream und ExampleOutputStream). Ihre Anwendung verwendet diese Streams für die Quell- und Ziel-Streams der Anwendung.

Sie können diese Streams entweder mit der Amazon Kinesis-Konsole oder wie folgt erstellen AWS CLI Befehl. Anweisungen für die Konsole finden Sie unter Erstellen und Aktualisieren von Datenströmen im Amazon Kinesis Data Streams Entwicklerhandbuch. Um die Streams mit dem zu erstellen AWS CLI, verwenden Sie die folgenden Befehle und passen Sie sie an die Region an, die Sie für Ihre Anwendung verwenden.

Um die Datenströme zu erstellen (AWS CLI)
  1. Um den ersten Stream zu erstellen (ExampleInputStream), verwenden Sie das folgende Amazon Kinesis create-stream AWS CLI Befehl:

    $ aws kinesis create-stream \ --stream-name ExampleInputStream \ --shard-count 1 \ --region us-east-1 \
  2. Um den zweiten Stream zu erstellen, den die Anwendung zum Schreiben der Ausgabe verwendet, führen Sie denselben Befehl aus und ändern Sie den Streamnamen in ExampleOutputStream:

    $ aws kinesis create-stream \ --stream-name ExampleOutputStream \ --shard-count 1 \ --region us-east-1 \

Erstellen Sie einen Amazon S3-Bucket für den Anwendungscode

Sie können ein Amazon-S3-Bucket mithilfe der Konsole erstellen. Informationen zum Erstellen eines Amazon S3-Buckets mithilfe der Konsole finden Sie unter Einen Bucket erstellen in der Amazon S3-Benutzerhandbuch. Benennen Sie den Amazon S3-Bucket mit einem global eindeutigen Namen, indem Sie beispielsweise Ihren Anmeldenamen anhängen.

Anmerkung

Stellen Sie sicher, dass Sie den Bucket in der Region erstellen, die Sie für dieses Tutorial verwenden (us-east-1).

Sonstige Ressourcen

Wenn Sie Ihre Anwendung erstellen, erstellt Managed Service for Apache Flink automatisch das folgende Amazon CloudWatch Ressourcen, falls sie noch nicht existieren:

  • Eine Protokollgruppe mit dem Namen /AWS/KinesisAnalytics-java/<my-application>

  • Einen Protokollstream mit dem Namen kinesis-analytics-log-stream

Einrichten der lokalen Entwicklungsumgebung

Für Entwicklung und Debugging können Sie die Apache Flink-Anwendung auf Ihrem Computer direkt von der IDE Ihrer Wahl aus ausführen. Alle Apache Flink-Abhängigkeiten werden wie normale Java-Abhängigkeiten mit Apache Maven behandelt.

Anmerkung

Auf Ihrem Entwicklungscomputer müssen Sie Java JDK 11, Maven und Git installiert haben. Wir empfehlen die Verwendung einer Entwicklungsumgebung wie Eclipse Java Neon oder IntelliJ IDEA. Um zu überprüfen, ob Sie alle Voraussetzungen erfüllen, finden Sie unter Erfüllen Sie die Voraussetzungen für den Abschluss der Übungen. Du tu es nicht Sie müssen einen Apache Flink-Cluster auf Ihrem Computer installieren.

Authentifizieren Sie Ihre AWS Sitzung

Die Anwendung verwendet Kinesis-Datenstreams, um Daten zu veröffentlichen. Wenn Sie lokal ausgeführt werden, benötigen Sie eine gültige AWS authentifizierte Sitzung mit Schreibberechtigungen in den Kinesis-Datenstrom. Gehen Sie wie folgt vor, um Ihre Sitzung zu authentifizieren:

  1. Wenn Sie das nicht haben AWS CLI und ein benanntes Profil mit konfigurierten gültigen Anmeldeinformationen, siehe Richten Sie das ein AWS Command Line Interface (AWS CLI).

  2. Vergewissern Sie sich, dass Ihr AWS CLI ist korrekt konfiguriert und Ihre Benutzer haben die Berechtigung, in den Kinesis-Datenstrom zu schreiben, indem sie den folgenden Testdatensatz veröffentlichen:

    $ aws kinesis put-record --stream-name ExampleOutputStream --data TEST --partition-key TEST
  3. Wenn Ihre IDE über ein Plug-in zur Integration verfügt AWS, Sie können es verwenden, um die Anmeldeinformationen an die in der IDE ausgeführte Anwendung zu übergeben. Weitere Informationen finden Sie unter AWS Toolkit für IntelliJ IDEA und AWS Toolkit für Eclipse.

Laden Sie den Apache Flink Streaming-Java-Code herunter und untersuchen Sie ihn

Der Java-Anwendungscode für dieses Beispiel ist verfügbar unter GitHub. Zum Herunterladen des Anwendungscodes gehen Sie wie folgt vor:

  1. Klonen Sie das Remote-Repository, indem Sie den folgenden Befehl verwenden:

    git clone https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples.git
  2. Navigieren Sie zum amazon-managed-service-for-apache-flink-examples/tree/main/java/GettingStarted Verzeichnis .

Überprüfen Sie die Komponenten der Anwendung

Die Anwendung ist vollständig implementiert in der com.amazonaws.services.msf.BasicStreamingJob Klasse. Die main() Methode definiert den Datenfluss, um die Streaming-Daten zu verarbeiten und auszuführen.

Anmerkung

Für ein optimiertes Entwicklererlebnis ist die Anwendung so konzipiert, dass sie ohne Codeänderungen sowohl auf Amazon Managed Service für Apache Flink als auch lokal für die Entwicklung in Ihrer IDE ausgeführt werden kann.

  • Um die Laufzeitkonfiguration so zu lesen, dass sie funktioniert, wenn sie in Amazon Managed Service für Apache Flink und in Ihrer IDE ausgeführt wird, erkennt die Anwendung automatisch, ob sie lokal lokal in der IDE ausgeführt wird. In diesem Fall lädt die Anwendung die Laufzeitkonfiguration anders:

    1. Wenn die Anwendung feststellt, dass sie in Ihrer IDE im Standalone-Modus ausgeführt wird, erstellen Sie das application_properties.json Datei, die in der enthalten ist Ressourcen Ordner des Projekts. Der Inhalt der Datei folgt.

    2. Wenn die Anwendung in Amazon Managed Service für Apache Flink ausgeführt wird, lädt das Standardverhalten die Anwendungskonfiguration aus den Laufzeiteigenschaften, die Sie in der Anwendung Amazon Managed Service für Apache Flink definieren. Siehe Erstellen und konfigurieren Sie die Anwendung Managed Service für Apache Flink.

      private static Map<String, Properties> loadApplicationProperties(StreamExecutionEnvironment env) throws IOException { if (env instanceof LocalStreamEnvironment) { LOGGER.info("Loading application properties from '{}'", LOCAL_APPLICATION_PROPERTIES_RESOURCE); return KinesisAnalyticsRuntime.getApplicationProperties( BasicStreamingJob.class.getClassLoader() .getResource(LOCAL_APPLICATION_PROPERTIES_RESOURCE).getPath()); } else { LOGGER.info("Loading application properties from Amazon Managed Service for Apache Flink"); return KinesisAnalyticsRuntime.getApplicationProperties(); } }
  • Das main() Methode definiert den Anwendungsdatenfluss und führt ihn aus.

    • Initialisiert die Standard-Streaming-Umgebungen. In diesem Beispiel zeigen wir, wie Sie beide erstellen StreamExecutionEnvironment zur Verwendung mit dem DataSteam API und die StreamTableEnvironment zur Verwendung mit SQL und der Tabellen-API. Die beiden Umgebungsobjekte sind zwei separate Verweise auf dieselbe Laufzeitumgebung, um unterschiedliche APIs zu verwenden.

      StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    • Laden Sie die Konfigurationsparameter der Anwendung. Dadurch werden sie automatisch von der richtigen Stelle geladen, je nachdem, wo die Anwendung ausgeführt wird:

      Map<String, Properties> applicationParameters = loadApplicationProperties(env);
    • Die Anwendung definiert eine Quelle mithilfe der Kinesis Consumer Konnektor zum Lesen von Daten aus dem Eingabestream. Die Konfiguration des Eingabestreams ist im definiert PropertyGroupId=InputStream0. Der Name und die Region des Streams befinden sich in den angegebenen Eigenschaften stream.name und aws.region jeweils. Der Einfachheit halber liest diese Quelle die Datensätze als Zeichenfolge.

      private static FlinkKinesisConsumer<String> createSource(Properties inputProperties) { String inputStreamName = inputProperties.getProperty("stream.name"); return new FlinkKinesisConsumer<>(inputStreamName, new SimpleStringSchema(), inputProperties); } ... public static void main(String[] args) throws Exception { ... SourceFunction<String> source = createSource(applicationParameters.get("InputStream0")); DataStream<String> input = env.addSource(source, "Kinesis Source"); ... }
    • Die Anwendung definiert dann eine Senke mithilfe der Kinesis Streams-Senke Connector zum Senden von Daten an den Ausgabestream. Name und Region des Ausgabestreams sind im definiert PropertyGroupId=OutputStream0, ähnlich dem Eingabestream. Die Spüle ist direkt mit der internen verbunden DataStream das ist das Abrufen von Daten aus der Quelle. In einer echten Anwendung gibt es eine gewisse Transformation zwischen Quelle und Senke.

      private static KinesisStreamsSink<String> createSink(Properties outputProperties) { String outputStreamName = outputProperties.getProperty("stream.name"); return KinesisStreamsSink.<String>builder() .setKinesisClientProperties(outputProperties) .setSerializationSchema(new SimpleStringSchema()) .setStreamName(outputStreamName) .setPartitionKeyGenerator(element -> String.valueOf(element.hashCode())) .build(); } ... public static void main(String[] args) throws Exception { ... Sink<String> sink = createSink(applicationParameters.get("OutputStream0")); input.sinkTo(sink); ... }
    • Schließlich führen Sie den Datenfluss aus, den Sie gerade definiert haben. Dies muss die letzte Anweisung des sein main() Methode, nachdem Sie alle Operatoren definiert haben, die der Datenfluss benötigt:

      env.execute("Flink streaming Java API skeleton");

Verwenden Sie die Datei pom.xml

Die Datei pom.xml definiert alle von der Anwendung benötigten Abhängigkeiten und richtet das Maven Shade-Plugin ein, um das Fat-Jar zu erstellen, das alle von Flink benötigten Abhängigkeiten enthält.

  • Einige Abhängigkeiten haben provided Umfang. Diese Abhängigkeiten sind automatisch verfügbar, wenn die Anwendung in Amazon Managed Service für Apache Flink ausgeführt wird. Sie sind erforderlich, um die Anwendung zu kompilieren oder um die Anwendung lokal in Ihrer IDE auszuführen. Weitere Informationen finden Sie unter Führen Sie Ihre Anwendung lokal aus. Stellen Sie sicher, dass Sie dieselbe Flink-Version wie die Runtime verwenden, die Sie in Amazon Managed Service für Apache Flink verwenden werden.

    <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-clients</artifactId> <version>${flink.version}</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java</artifactId> <version>${flink.version}</version> <scope>provided</scope> </dependency>
  • Sie müssen dem POM zusätzliche Apache Flink-Abhängigkeiten mit dem Standardbereich hinzufügen, z. B. Kinesis-Anschluss wird von dieser Anwendung verwendet. Weitere Informationen finden Sie unter Verwenden Sie Apache Flink-Konnektoren. Sie können auch alle zusätzlichen Java-Abhängigkeiten hinzufügen, die für Ihre Anwendung erforderlich sind.

    <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kinesis</artifactId> <version>${aws.connector.version}</version> </dependency>
  • Das Maven Java Compiler-Plugin stellt sicher, dass der Code mit Java 11 kompiliert wird, der JDK-Version, die derzeit von Apache Flink unterstützt wird.

  • Das Maven Shade-Plugin packt das Fat-Jar, mit Ausnahme einiger Bibliotheken, die von der Runtime bereitgestellt werden. Es spezifiziert auch zwei Transformatoren: ServicesResourceTransformer und ManifestResourceTransformer. Letzteres konfiguriert die Klasse, die die enthält main Methode zum Starten der Anwendung. Wenn Sie die Hauptklasse umbenennen, vergessen Sie nicht, diesen Transformator zu aktualisieren.

  • <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> ... <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"> <mainClass>com.amazonaws.services.msf.BasicStreamingJob</mainClass> </transformer> ... </plugin>

Schreiben Sie Beispieldatensätze in den Eingabestream

In diesem Abschnitt senden Sie Beispieldatensätze an den Stream, damit die Anwendung sie verarbeiten kann. Sie haben zwei Möglichkeiten, Beispieldaten zu generieren, entweder mithilfe eines Python-Skripts oder Kinesis-Datengenerator.

Generieren Sie Beispieldaten mit einem Python-Skript

Sie können ein Python-Skript verwenden, um Beispieldatensätze an den Stream zu senden.

Anmerkung

Um dieses Python-Skript auszuführen, müssen Sie Python 3.x verwenden und über AWS SDK für Python (Boto) Bibliothek installiert.

Um mit dem Senden von Testdaten an den Kinesis-Eingabestream zu beginnen:

  1. Laden Sie den Datengenerator herunter stock.py Python-Skript aus dem Datengenerator GitHub Endlager.

  2. Führen Sie das stock.pySkript aus:

    $ python stock.py

Lassen Sie das Skript laufen, während Sie den Rest des Tutorials abschließen. Sie können jetzt Ihre Apache Flink-Anwendung ausführen.

Generieren Sie Beispieldaten mit dem Kinesis Data Generator

Alternativ zur Verwendung des Python-Skripts können Sie Kinesis-Datengenerator, auch erhältlich als gehostete Version, um Zufallsstichprobendaten an den Stream zu senden. Kinesis Data Generator wird in Ihrem Browser ausgeführt, und Sie müssen nichts auf Ihrem Computer installieren.

So richten Sie Kinesis Data Generator ein und führen ihn aus:

  1. Folgen Sie den Anweisungen im Dokumentation zu Kinesis Data Generator um den Zugriff auf das Tool einzurichten. Sie werden eine ausführen CloudFormation Vorlage, die einen Benutzer und ein Passwort einrichtet.

  2. Greifen Sie über die von der generierte URL auf Kinesis Data Generator zu CloudFormation Vorlage. Die URL finden Sie in der Ausgabe Tab nach dem CloudFormation Die Vorlage ist abgeschlossen.

  3. Konfigurieren Sie den Datengenerator:

    • Region: Wählen Sie die Region aus, die Sie für dieses Tutorial verwenden: us-east-1

    • Stream/delivery streamen: Wählen Sie den Eingabestream aus, den die Anwendung verwenden soll: ExampleInputStream

    • Aufzeichnungen pro Sekunde: 100

    • Vorlage für Datensätze: Kopieren Sie die folgende Vorlage und fügen Sie sie ein:

      { "event_time" : "{{date.now("YYYY-MM-DDTkk:mm:ss.SSSSS")}}, "ticker" : "{{random.arrayElement( ["AAPL", "AMZN", "MSFT", "INTC", "TBV"] )}}", "price" : {{random.number(100)}} }
  4. Testen Sie die Vorlage: Wählen Sie Vorlage testen und stellen Sie sicher, dass der generierte Datensatz dem folgenden ähnelt:

    { "event_time" : "2024-06-12T15:08:32.04800, "ticker" : "INTC", "price" : 7 }
  5. Starten Sie den Datengenerator: Wählen Sie Wählen Sie Daten senden.

Kinesis Data Generator sendet jetzt Daten an den ExampleInputStream.

Führen Sie Ihre Anwendung lokal aus

Sie können Ihre Flink-Anwendung lokal in Ihrer IDE ausführen und debuggen.

Anmerkung

Bevor Sie fortfahren, stellen Sie sicher, dass die Eingabe- und Ausgabestreams verfügbar sind. Siehe Erstellen Sie zwei Amazon Kinesis-Datenstreams. Stellen Sie außerdem sicher, dass Sie über Lese- und Schreibberechtigungen für beide Streams verfügen. Siehe Authentifizieren Sie Ihre AWS Sitzung.

Für die Einrichtung der lokalen Entwicklungsumgebung sind Java 11 JDK, Apache Maven und eine IDE für die Java-Entwicklung erforderlich. Stellen Sie sicher, dass Sie die erforderlichen Voraussetzungen erfüllen. Siehe Erfüllen Sie die Voraussetzungen für den Abschluss der Übungen.

Importieren Sie das Java-Projekt in Ihre IDE

Um mit der Arbeit an der Anwendung in Ihrer IDE zu beginnen, müssen Sie sie als Java-Projekt importieren.

Das Repository, das Sie geklont haben, enthält mehrere Beispiele. Jedes Beispiel ist ein separates Projekt. Importieren Sie für dieses Tutorial den Inhalt in ./java/GettingStarted Unterverzeichnis in Ihre IDE.

Fügen Sie den Code als vorhandenes Java-Projekt mit Maven ein.

Anmerkung

Der genaue Vorgang zum Importieren eines neuen Java-Projekts hängt von der verwendeten IDE ab.

Überprüfen Sie die lokale Anwendungskonfiguration

Wenn die Anwendung lokal ausgeführt wird, verwendet sie die Konfiguration im application_properties.json Datei im Ressourcenordner des Projekts unter ./src/main/resources. Sie können diese Datei bearbeiten, um andere Kinesis-Stream-Namen oder -Regionen zu verwenden.

[ { "PropertyGroupId": "InputStream0", "PropertyMap": { "stream.name": "ExampleInputStream", "flink.stream.initpos": "LATEST", "aws.region": "us-east-1" } }, { "PropertyGroupId": "OutputStream0", "PropertyMap": { "stream.name": "ExampleOutputStream", "aws.region": "us-east-1" } } ]

Richten Sie Ihre IDE-Ausführungskonfiguration ein

Sie können die Flink-Anwendung direkt von Ihrer IDE aus ausführen und debuggen, indem Sie die Hauptklasse ausführen com.amazonaws.services.msf.BasicStreamingJob, wie Sie jede Java-Anwendung ausführen würden. Bevor Sie die Anwendung ausführen, müssen Sie die Run-Konfiguration einrichten. Das Setup hängt von der IDE ab, die Sie verwenden. Zum Beispiel finden Sie unter Run/debug Konfigurationen in der IntelliJ IDEA-Dokumentation. Insbesondere müssen Sie Folgendes einrichten:

  1. Fügen Sie das hinzu provided Abhängigkeiten zum Klassenpfad. Dies ist erforderlich, um sicherzustellen, dass die Abhängigkeiten mit provided Der Geltungsbereich wird an die Anwendung übergeben, wenn sie lokal ausgeführt wird. Ohne diese Einrichtung zeigt die Anwendung eine class not found Fehler sofort.

  2. Übergeben Sie den AWS Anmeldeinformationen für den Zugriff auf die Kinesis-Streams zur Anwendung. Der schnellste Weg ist zu benutzen AWS Toolkit für IntelliJ IDEA. Mit diesem IDE-Plugin in der Run-Konfiguration können Sie ein bestimmtes auswählen AWS Profil. AWS Die Authentifizierung erfolgt mit diesem Profil. Sie müssen nicht bestehen AWS Anmeldeinformationen direkt.

  3. Stellen Sie sicher, dass die IDE die Anwendung ausführt mit JDK 11.

Führen Sie die Anwendung in Ihrer IDE aus

Nachdem Sie die Run-Konfiguration für den eingerichtet haben BasicStreamingJob, können Sie es wie eine normale Java-Anwendung ausführen oder debuggen.

Anmerkung

Sie können das von Maven generierte Fat-Jar nicht direkt mit ausführen java -jar ... von der Befehlszeile aus. Dieses JAR enthält nicht die Flink-Kernabhängigkeiten, die für die eigenständige Ausführung der Anwendung erforderlich sind.

Wenn die Anwendung erfolgreich gestartet wird, protokolliert sie einige Informationen über den eigenständigen Minicluster und die Initialisierung der Konnektoren. Darauf folgen eine Reihe von INFO- und einigen WARN-Protokollen, die Flink normalerweise ausgibt, wenn die Anwendung gestartet wird.

13:43:31,405 INFO com.amazonaws.services.msf.BasicStreamingJob [] - Loading application properties from 'flink-application-properties-dev.json' 13:43:31,549 INFO org.apache.flink.streaming.connectors.kinesis.FlinkKinesisConsumer [] - Flink Kinesis Consumer is going to read the following streams: ExampleInputStream, 13:43:31,676 INFO org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils [] - The configuration option taskmanager.cpu.cores required for local execution is not set, setting it to the maximal possible value. 13:43:31,676 INFO org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils [] - The configuration option taskmanager.memory.task.heap.size required for local execution is not set, setting it to the maximal possible value. 13:43:31,676 INFO org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils [] - The configuration option taskmanager.memory.task.off-heap.size required for local execution is not set, setting it to the maximal possible value. 13:43:31,676 INFO org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils [] - The configuration option taskmanager.memory.network.min required for local execution is not set, setting it to its default value 64 mb. 13:43:31,676 INFO org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils [] - The configuration option taskmanager.memory.network.max required for local execution is not set, setting it to its default value 64 mb. 13:43:31,676 INFO org.apache.flink.runtime.taskexecutor.TaskExecutorResourceUtils [] - The configuration option taskmanager.memory.managed.size required for local execution is not set, setting it to its default value 128 mb. 13:43:31,677 INFO org.apache.flink.runtime.minicluster.MiniCluster [] - Starting Flink Mini Cluster ....

Nach Abschluss der Initialisierung gibt die Anwendung keine weiteren Logeinträge aus. Während des Datenflusses wird kein Protokoll ausgegeben.

Um zu überprüfen, ob die Anwendung Daten korrekt verarbeitet, können Sie die Eingabe- und Ausgabe-Kinesis-Streams überprüfen, wie im folgenden Abschnitt beschrieben.

Anmerkung

Das normale Verhalten einer Flink-Anwendung ist es, keine Protokolle über fließende Daten auszugeben. Das Ausgeben von Protokollen für jeden Datensatz mag für das Debuggen praktisch sein, kann aber bei der Ausführung in der Produktion zu erheblichem Aufwand führen.

Beobachten Sie Eingabe- und Ausgabedaten in Kinesis-Streams

Sie können Datensätze beobachten, die vom (generierenden Beispiel-Python) oder dem Kinesis-Datengenerator (Link) an den Eingabestream gesendet werden, indem Sie Daten-Viewer in der Amazon Kinesis-Konsole.

Um Aufzeichnungen zu beobachten
  1. Öffnen Sie die Kinesis-Konsole unter https://console.aws.amazon.com/kinesis.

  2. Stellen Sie sicher, dass die Region mit der Region übereinstimmt, in der Sie dieses Tutorial ausführen, und zwar standardmäßig us-east-1 US East (Nord-Virginia). Ändern Sie die Region, wenn sie nicht übereinstimmt.

  3. Wählen Sie Datenströme.

  4. Wählen Sie entweder den Stream aus, den Sie beobachten möchten ExampleInputStream oder ExampleOutputStream.

  5. Wählen Sie das Daten-Viewer Registerkarte.

  6. Wähle eine beliebige Scherbe, behalten Letzte als Startposition, und wählen Sie dann Aufzeichnungen abrufen. Möglicherweise wird die Fehlermeldung „Für diese Anfrage wurde kein Datensatz gefunden“ angezeigt. Wenn ja, wählen Sie Versuchen Sie erneut, Datensätze abzurufen. Die neuesten im Stream veröffentlichten Datensätze werden angezeigt.

  7. Wählen Sie den Wert in der Datenspalte aus, um den Inhalt des Datensatzes im JSON-Format zu überprüfen.

Beenden Sie die lokale Ausführung Ihrer Anwendung

Stoppen Sie die Ausführung der Anwendung in Ihrer IDE. Die IDE bietet normalerweise eine „Stopp“ -Option. Der genaue Ort und die Methode hängen von der verwendeten IDE ab.

Kompilieren und verpacken Sie Ihren Anwendungscode

In diesem Abschnitt verwenden Sie Apache Maven, um den Java-Code zu kompilieren und in eine JAR-Datei zu packen. Sie können Ihren Code mit dem Maven-Befehlszeilentool oder Ihrer IDE kompilieren und paketieren.

Um mit der Maven-Befehlszeile zu kompilieren und zu paketieren:

Gehen Sie in das Verzeichnis, das Java enthält GettingStarted projizieren Sie und führen Sie den folgenden Befehl aus:

$ mvn package

Um mit Ihrer IDE zu kompilieren und zu paketieren:

Führen Sie aus mvn package von Ihrer IDE Maven-Integration aus.

In beiden Fällen wird die folgende JAR-Datei erstellt: target/amazon-msf-java-stream-app-1.0.jar.

Anmerkung

Wenn Sie ein „Build-Projekt“ von Ihrer IDE aus ausführen, wird die JAR-Datei möglicherweise nicht erstellt.

Laden Sie die JAR-Datei mit dem Anwendungscode hoch

In diesem Abschnitt laden Sie die JAR-Datei, die Sie im vorherigen Abschnitt erstellt haben, in den Amazon Simple Storage Service (Amazon S3) -Bucket hoch, den Sie zu Beginn dieses Tutorials erstellt haben. Wenn Sie diesen Schritt noch nicht abgeschlossen haben, finden Sie weitere Informationen unter (Link).

Um die JAR-Datei mit dem Anwendungscode hochzuladen
  1. Öffnen Sie die Amazon S3-Konsole unter https://console.aws.amazon.com/s3/.

  2. Wählen Sie den Bucket aus, den Sie zuvor für den Anwendungscode erstellt haben.

  3. Klicken Sie auf Upload.

  4. Klicken Sie auf Add files.

  5. Navigieren Sie zu der JAR-Datei, die im vorherigen Schritt generiert wurde: target/amazon-msf-java-stream-app-1.0.jar.

  6. Wählen Upload ohne andere Einstellungen zu ändern.

Warnung

Stellen Sie sicher, dass Sie die richtige JAR-Datei in auswählen <repo-dir>/java/GettingStarted/target/amazon-msf-java-stream-app-1.0.jar.

Das target Das Verzeichnis enthält auch andere JAR-Dateien, die Sie nicht hochladen müssen.

Erstellen und konfigurieren Sie die Anwendung Managed Service für Apache Flink

Sie können eine Anwendung von Managed Service für Apache Flink entweder über die Konsole oder AWS CLI erstellen und ausführen. Für dieses Tutorial verwenden Sie die Konsole.

Anmerkung

Wenn Sie die Anwendung mithilfe der Konsole erstellen, wird Ihr AWS Identity and Access Management (IAM) und Amazon CloudWatch Protokollressourcen werden für Sie erstellt. Wenn Sie die Anwendung mit dem erstellen AWS CLI, erstellen Sie diese Ressourcen separat.

Erstellen der Anwendung

So erstellen Sie die Anwendung
  1. Loggen Sie sich ein bei AWS-Managementkonsole, und öffnen Sie die Amazon MSF-Konsole unter https://console.aws.amazon.com/flink.

  2. Stellen Sie sicher, dass die richtige Region ausgewählt ist: us-east-1 US East (Nord-Virginia)

  3. Öffnen Sie das Menü auf der rechten Seite und wählen Sie Apache Flink-Anwendungen und dann Erstellen Sie eine Streaming-Anwendung. Wählen Sie alternativ Erstellen Sie eine Streaming-Anwendung im Container „Erste Schritte“ der Startseite.

  4. Auf der Erstellen Sie eine Streaming-Anwendung Seite:

    • Wählen Sie eine Methode, um die Stream-Verarbeitungsanwendung einzurichten: wählen Von Grund auf neu erstellen.

    • Apache Flink-Konfiguration, Flink-Version der Anwendung: wählen Apache Flink 1.20.

  5. Konfiguriere deine Anwendung

    • Name der Anwendung: eintragen MyApplication.

    • Beschreibung: eintragen My java test app.

    • Zugriff auf Anwendungsressourcen: wählen IAM-Rolle erstellen/aktualisieren kinesis-analytics-MyApplication-us-east-1 mit den erforderlichen Richtlinien.

  6. Konfiguriere dein Vorlage für Anwendungseinstellungen

    • Vorlagen: wählen Entwicklung.

  7. Wählen Erstellen Sie eine Streaming-Anwendung am Ende der Seite.

Anmerkung

Beim Erstellen einer Anwendung von Managed Service für Apache Flink mit der Konsole haben Sie die Möglichkeit, eine IAM-Rolle und -Richtlinie für Ihre Anwendung erstellen zu lassen. Ihre Anwendung verwendet diese Rolle und Richtlinie für den Zugriff auf ihre abhängigen Ressourcen. Diese IAM-Ressourcen werden unter Verwendung Ihres Anwendungsnamens und der Region wie folgt benannt:

  • Richtlinie: kinesis-analytics-service-MyApplication-us-east-1

  • Rolle: kinesisanalytics-MyApplication-us-east-1

Amazon Managed Service für Apache Flink war früher als Kinesis Data Analytics bekannt. Dem Namen der Ressourcen, die automatisch erstellt werden, wird ein Präfix vorangestellt kinesis-analytics- aus Gründen der Abwärtskompatibilität.

Bearbeiten Sie die IAM-Richtlinie

Bearbeiten Sie die IAM-Richtlinie zum Hinzufügen von Berechtigungen für den Zugriff auf die Kinesis-Datenströme.

Um die Richtlinie zu bearbeiten
  1. Öffnen Sie unter https://console.aws.amazon.com/iam/ die IAM-Konsole.

  2. Wählen Sie Policies (Richtlinien). Wählen Sie die kinesis-analytics-service-MyApplication-us-east-1-Richtlinie aus, die die Konsole im vorherigen Abschnitt für Sie erstellt hat.

  3. Wählen Sie Bearbeiten und dann wähle JSON Tabulator.

  4. Fügen Sie den markierten Abschnitt der folgenden Beispielrichtlinie der Richtlinie hinzu. Ersetzen Sie die Beispielkonto-IDs (012345678901) mit Ihrer Konto-ID.

    JSON
    { "Version":"2012-10-17", "Statement": [ { "Sid": "ReadCode", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:s3:::my-bucket/kinesis-analytics-placeholder-s3-object" ] }, { "Sid": "ListCloudwatchLogGroups", "Effect": "Allow", "Action": [ "logs:DescribeLogGroups" ], "Resource": [ "arn:aws:logs:us-east-1:012345678901:log-group:*" ] }, { "Sid": "ListCloudwatchLogStreams", "Effect": "Allow", "Action": [ "logs:DescribeLogStreams" ], "Resource": [ "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*" ] }, { "Sid": "PutCloudwatchLogs", "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream" ] }, { "Sid": "ReadInputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleInputStream" }, { "Sid": "WriteOutputStream", "Effect": "Allow", "Action": "kinesis:*", "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleOutputStream" } ] }
  5. Wählen Sie Weiter unten auf der Seite und wählen Sie dann Speichern Sie die Änderungen.

In diesem Tutorial wird eine Anwendung erstellt, die Anwendungs-Snapshots verwendet (Legacy). Für den erweiterten Snapshot-Modus sind keine Änderungen an der Richtlinie erforderlich, die Sie in diesem Verfahren bearbeitet haben. Im erweiterten Snapshot-Modus benötigt der IAM-Benutzer oder die IAM-Rolle, der bzw. die die Anwendung startet, aktualisiert oder stoppt, mehr Berechtigungen. Weitere Informationen zu diesen Berechtigungen finden Sie unter IAM-Berechtigungen.

Konfigurieren Sie die Anwendung

Bearbeiten Sie die Anwendungskonfiguration, um das Anwendungscode-Artefakt festzulegen.

Um die Konfiguration zu bearbeiten
  1. Auf der MyApplication Seite, wählen Konfiguriere.

  2. In der Ort des Anwendungscodes Abschnitt:

    • Für Amazon S3-Eimer, wählen Sie den Bucket aus, den Sie zuvor für den Anwendungscode erstellt haben. Wählen Sie Durchstöbern und wählen Sie den richtigen Bucket aus, und wählen Sie dann Wählen Sie. Klicken Sie nicht auf den Bucket-Namen.

    • Geben Sie als Pfad zum Amazon-S3-Objekt den Wert amazon-msf-java-stream-app-1.0.jar ein.

  3. Für Zugriffsberechtigungen, wählen IAM-Rolle erstellen/aktualisieren kinesis-analytics-MyApplication-us-east-1 mit den erforderlichen Richtlinien.

  4. In der Runtime-Eigenschaften Abschnitt, fügen Sie die folgenden Eigenschaften hinzu.

  5. Wählen Sie Neuen Artikel hinzufügen und fügen Sie jeden der folgenden Parameter hinzu:

    Gruppen-ID Key (Schlüssel) Value (Wert)
    InputStream0 stream.name ExampleInputStream
    InputStream0 aws.region us-east-1
    OutputStream0 stream.name ExampleOutputStream
    OutputStream0 aws.region us-east-1
  6. Ändern Sie keinen der anderen Abschnitte.

  7. Wählen Sie Änderungen speichern aus.

Anmerkung

Wenn Sie Amazon aktivieren möchten CloudWatch Beim Loggen erstellt Managed Service for Apache Flink eine Log-Gruppe und einen Log-Stream für Sie. Die Namen dieser Ressourcen lauten wie folgt:

  • Protokollgruppe: /aws/kinesis-analytics/MyApplication

  • Protokollstream: kinesis-analytics-log-stream

Führen Sie die Anwendung aus.

Die Anwendung ist jetzt konfiguriert und kann ausgeführt werden.

Ausführen der Anwendung
  1. Wählen Sie auf der Konsole für Amazon Managed Service für Apache Flink Meine Bewerbung und wähle Lauf.

  2. Wählen Sie auf der nächsten Seite, der Konfigurationsseite für die Anwendungswiederherstellung, Mit dem neuesten Snapshot ausführen und dann wähle Lauf.

    Das Status in Einzelheiten zur Bewerbung Übergänge von Ready zu Starting und dann zu Running wenn die Anwendung gestartet wurde.

Anmerkung

Eine Anwendung im erweiterten Snapshot-Modus wird anhand erweiterter Snapshots wiederhergestellt, nicht anhand von Anwendungs-Snapshots (Legacy). Weitere Informationen finden Sie unter Stellen Sie eine Anwendung aus einem erweiterten Snapshot wieder her.

Wenn sich die Anwendung in der Running Status, Sie können jetzt das Flink-Dashboard öffnen.

So öffnen Sie das -Dashboard
  1. Wählen Sie Öffnen Sie das Apache Flink-Dashboard. Das Dashboard wird auf einer neuen Seite geöffnet.

  2. In der Jobs ausführen Liste, wählen Sie den einzelnen Job aus, den Sie sehen können.

    Anmerkung

    Wenn Sie die Runtime-Eigenschaften festlegen oder die IAM-Richtlinien falsch bearbeitet haben, ändert sich der Anwendungsstatus möglicherweise in Running, aber das Flink-Dashboard zeigt, dass der Job kontinuierlich neu gestartet wird. Dies ist ein häufiges Fehlerszenario, wenn die Anwendung falsch konfiguriert ist oder nicht über Berechtigungen für den Zugriff auf die externen Ressourcen verfügt.

    Wenn das passiert, überprüfen Sie das Ausnahmen Tab im Flink-Dashboard, um die Ursache des Problems zu sehen.

Beobachten Sie die Metriken der laufenden Anwendung

Auf der MyApplication Seite, in der Amazonas CloudWatch Metriken In diesem Abschnitt können Sie einige der grundlegenden Metriken der laufenden Anwendung sehen.

Um die Metriken einzusehen
  1. Neben dem Auffrischen Taste, wählen 10 Sekunden aus der Dropdownliste.

  2. Wenn die Anwendung läuft und fehlerfrei ist, können Sie Folgendes sehen Betriebszeit Metrik steigt kontinuierlich an.

  3. Das vollständige Neustarts Die Metrik sollte Null sein. Wenn sie zunimmt, kann es zu Problemen mit der Konfiguration kommen. Um das Problem zu untersuchen, lesen Sie die Ausnahmen Registerkarte auf dem Flink-Dashboard.

  4. Das Anzahl der fehlgeschlagenen Checkpoints Die Metrik sollte in einer fehlerfreien Anwendung Null sein.

    Anmerkung

    Dieses Dashboard zeigt einen festen Satz von Metriken mit einer Granularität von 5 Minuten an. Sie können ein benutzerdefiniertes Anwendungs-Dashboard mit beliebigen Metriken in der CloudWatch Dashboard.

Beobachten Sie die Ausgabedaten in Kinesis-Streams

Stellen Sie sicher, dass Sie weiterhin Daten für die Eingabe veröffentlichen, entweder mithilfe des Python-Skripts oder des Kinesis-Datengenerators.

Sie können jetzt die Ausgabe der Anwendung beobachten, die auf Managed Service for Apache Flink ausgeführt wird, indem Sie den Data Viewer im https://console.aws.amazon.com/kinesis/, ähnlich dem, was Sie bereits zuvor getan haben.

Um die Ausgabe anzusehen
  1. Öffnen Sie die Kinesis-Konsole unter https://console.aws.amazon.com/kinesis.

  2. Stellen Sie sicher, dass die Region mit der Region übereinstimmt, die Sie zum Ausführen dieses Tutorials verwenden. In der Standardeinstellung ist es US-East-1US East (Nord-Virginia). Ändern Sie bei Bedarf die Region.

  3. Wählen Sie Datenströme.

  4. Wählen Sie den Stream aus, den Sie beobachten möchten. Verwenden Sie für dieses Tutorial ExampleOutputStream.

  5. Wählen Sie den Daten-Viewer Registerkarte.

  6. Wählen Sie eine aus Teilen, behalten Letzte als Startposition, und wählen Sie dann Aufzeichnungen abrufen. Möglicherweise wird die Fehlermeldung „Für diese Anfrage wurde kein Datensatz gefunden“ angezeigt. Wenn ja, wählen Sie Versuchen Sie erneut, Datensätze abzurufen. Die neuesten im Stream veröffentlichten Datensätze werden angezeigt.

  7. Wählen Sie den Wert in der Datenspalte aus, um den Inhalt des Datensatzes im JSON-Format zu überprüfen.

Stoppen Sie die Anwendung

Um die Anwendung zu beenden, rufen Sie die Konsolenseite der Managed Service for Apache Flink-Anwendung mit dem Namen MyApplication.

So stoppen Sie die Anwendung
  1. Aus dem Aktion Drop-down-Liste, wählen Stopp.

  2. Das Status in Einzelheiten zur Bewerbung Übergänge von Running zu Stopping, und dann zu Ready wenn die Anwendung vollständig gestoppt ist.

    Anmerkung

    Vergessen Sie nicht, auch das Senden von Daten aus dem Python-Skript oder dem Kinesis-Datengenerator an den Eingabestream zu beenden.

Nächster Schritt

Bereinigen AWS Ressourcen