Erstellen Sie eine Managed Service for Apache Flink-Anwendung und führen Sie sie aus

So erstellen Sie die Daten-Streams (AWS CLI)

1. Verwenden Sie den folgenden Amazon Kinesis create-stream AWS CLI Kinesis-Befehl, um den ersten Stream (ExampleInputStream) zu erstellen:

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-east-1 \

2. Um den zweiten Stream zu erstellen, den die Anwendung zum Schreiben der Ausgabe verwendet, führen Sie denselben Befehl aus und ändern Sie den Stream-Namen inExampleOutputStream:

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-east-1 \

1. Klonen Sie das Remote-Repository, indem Sie den folgenden Befehl verwenden:

   git clone https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples.git

2. Navigieren Sie zum amazon-managed-service-for-apache-flink-examples/tree/main/java/GettingStarted Verzeichnis .

Um Aufzeichnungen zu beobachten

1. Öffnen Sie die Kinesis-Konsole unter https://console.aws.amazon.com/kinesis.

2. Stellen Sie sicher, dass die Region mit der Region übereinstimmt, in der Sie dieses Tutorial ausführen, und zwar standardmäßig us-east-1 US East (Nord-Virginia). Ändern Sie die Region, falls sie nicht übereinstimmt.

3. Wählen Sie Datenströme.

4. Wählen Sie den Stream aus, den Sie beobachten möchten, entweder ExampleInputStream oder ExampleOutputStream.

5. Wählen Sie die Registerkarte „Datenanzeige“.

6. Wählen Sie einen beliebigen Shard aus, behalten Sie „Letzte“ als Startposition bei und wählen Sie dann „Datensätze abrufen“. Möglicherweise wird die Fehlermeldung „Für diese Anfrage wurde kein Datensatz gefunden“ angezeigt. Wenn ja, wählen Sie „Erneut versuchen, Datensätze abzurufen“. Die neuesten im Stream veröffentlichten Datensätze werden angezeigt.

7. Wählen Sie den Wert in der Datenspalte, um den Inhalt des Datensatzes im JSON Format zu überprüfen.

Um die JAR Anwendungscodedatei hochzuladen

1. Öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/.

2. Wählen Sie den Bucket aus, den Sie zuvor für den Anwendungscode erstellt haben.

3. Klicken Sie auf Hochladen.

4. Klicken Sie auf Add files.

5. Navigieren Sie zu der im vorherigen Schritt generierten JAR Datei:target/amazon-msf-java-stream-app-1.0.jar.

6. Wählen Sie Hochladen, ohne andere Einstellungen zu ändern.

So erstellen Sie die Anwendung

1. Öffnen Sie die Managed Service for Apache Flink-Konsole unter https://console.aws.amazon.com /flink

2. Stellen Sie sicher, dass die richtige Region ausgewählt ist: us-east-1 US East (Nord-Virginia)

3. Öffnen Sie das Menü auf der rechten Seite und wählen Sie Apache Flink-Anwendungen und dann Streaming-Anwendung erstellen. Wählen Sie alternativ im Container Erste Schritte auf der Startseite die Option Streaming-Anwendung erstellen aus.

4. Gehen Sie auf der Seite Streaming-Anwendung erstellen wie folgt vor:

   • Wählen Sie eine Methode, um die Stream-Verarbeitungsanwendung einzurichten: Wählen Sie Von Grund auf neu erstellen.

   • Apache Flink-Konfiguration, Flink-Version der Anwendung: Wählen Sie Apache Flink 1.19.

5. Konfigurieren Sie Ihre Anwendung

   • Name der Anwendung: Geben Sie einMyApplication.

   • Beschreibung: eingebenMy java test app.

   • Zugriff auf Anwendungsressourcen: Wählen Sie „IAMRolle kinesis-analytics-MyApplication-us-east-1 mit den erforderlichen Richtlinien erstellen/aktualisieren“.

6. Konfigurieren Sie Ihre Vorlage für Anwendungseinstellungen

   • Vorlagen: Wählen Sie Entwicklung.

7. Wählen Sie unten auf der Seite die Option Streaming-Anwendung erstellen aus.

Um die Richtlinie zu bearbeiten

1. Öffnen Sie die IAM Konsole unter https://console.aws.amazon.com/iam/.

2. Wählen Sie Policies (Richtlinien). Wählen Sie die kinesis-analytics-service-MyApplication-us-east-1-Richtlinie aus, die die Konsole im vorherigen Abschnitt für Sie erstellt hat.

3. Wählen Sie Bearbeiten und dann die JSONRegisterkarte.

4. Fügen Sie den markierten Abschnitt der folgenden Beispielrichtlinie der Richtlinie hinzu. Ersetzen Sie das Beispielkonto IDs (012345678901) durch Ihre Konto-ID.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::my-bucket/kinesis-analytics-placeholder-s3-object"
               ]
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

5. Wählen Sie unten auf der Seite Weiter und dann Änderungen speichern.

Um die Konfiguration zu bearbeiten

1. Wählen Sie auf der MyApplicationSeite Configure aus.

2. Gehen Sie im Abschnitt Speicherort des Anwendungscodes wie folgt vor:

   • Wählen Sie für Amazon S3 S3-Bucket den Bucket aus, den Sie zuvor für den Anwendungscode erstellt haben. Wählen Sie Durchsuchen und wählen Sie den richtigen Bucket aus. Wählen Sie dann Auswählen aus. Klicken Sie nicht auf den Bucket-Namen.

   • Geben Sie als Pfad zum Amazon-S3-Objekt den Wert amazon-msf-java-stream-app-1.0.jar ein.

3. Wählen Sie für Zugriffsberechtigungen die Option IAMRolle kinesis-analytics-MyApplication-us-east-1 mit den erforderlichen Richtlinien erstellen/aktualisieren aus.

4. Fügen Sie im Abschnitt Runtime-Eigenschaften die folgenden Eigenschaften hinzu.

5. Wählen Sie Neues Element hinzufügen und fügen Sie jeden der folgenden Parameter hinzu:

   Gruppen-ID	Schlüssel	Wert
   InputStream0	stream.name	ExampleInputStream
   InputStream0	aws.region	us-east-1
   OutputStream0	stream.name	ExampleOutputStream
   OutputStream0	aws.region	us-east-1

6. Ändern Sie keinen der anderen Abschnitte.

7. Wählen Sie Änderungen speichern.

Ausführen der Anwendung

1. Wählen Sie auf der Konsole für Amazon Managed Service für Apache Flink My Application und anschließend Run aus.

2. Wählen Sie auf der nächsten Seite, der Konfigurationsseite für die Anwendungswiederherstellung, die Option Mit neuestem Snapshot ausführen und anschließend Ausführen aus.

   Der Status in den Anwendungsdetails wechselt von Ready zu Starting und dann zu dem Running Zeitpunkt, an dem die Anwendung gestartet wurde.

So öffnen Sie das -Dashboard

1. Wählen Sie Apache Flink-Dashboard öffnen. Das Dashboard wird auf einer neuen Seite geöffnet.

2. Wählen Sie in der Liste „Laufende Jobs“ den einzelnen Job aus, den Sie sehen können.

   Anmerkung

   Wenn Sie die Runtime-Eigenschaften festgelegt oder die IAM Richtlinien falsch bearbeitet haben, ändert sich der Anwendungsstatus möglicherweise inRunning, aber das Flink-Dashboard zeigt an, dass der Job kontinuierlich neu gestartet wird. Dies ist ein häufiges Fehlerszenario, wenn die Anwendung falsch konfiguriert ist oder keine Berechtigungen für den Zugriff auf die externen Ressourcen hat.

   In diesem Fall überprüfen Sie im Flink-Dashboard auf der Registerkarte Ausnahmen die Ursache des Problems.

Um die Metriken einzusehen

1. Wählen Sie neben der Schaltfläche „Aktualisieren“ in der Dropdownliste die Option 10 Sekunden aus.

2. Wenn die Anwendung läuft und fehlerfrei ist, können Sie sehen, dass die Uptime-Metrik kontinuierlich zunimmt.

3. Die Metrik für vollständige Neustarts sollte Null sein. Wenn sie zunimmt, kann es bei der Konfiguration zu Problemen kommen. Um das Problem zu untersuchen, überprüfen Sie den Tab Ausnahmen im Flink-Dashboard.

4. Die Metrik „Anzahl fehlgeschlagener Checkpoints“ sollte in einer fehlerfreien Anwendung Null sein.

   Anmerkung

   Dieses Dashboard zeigt einen festen Satz von Metriken mit einer Granularität von 5 Minuten. Sie können ein benutzerdefiniertes Anwendungs-Dashboard mit beliebigen Metriken im CloudWatch Dashboard erstellen.

Um die Ausgabe anzusehen

1. Öffnen Sie die Kinesis-Konsole unter https://console.aws.amazon.com/kinesis.

2. Stellen Sie sicher, dass die Region mit der Region übereinstimmt, die Sie für die Ausführung dieses Tutorials verwenden. Standardmäßig ist es US-East-1US East (Nord-Virginia). Ändern Sie bei Bedarf die Region.

3. Wählen Sie Data Streams aus.

4. Wählen Sie den Stream aus, den Sie beobachten möchten. Verwenden Sie für dieses Tutorial ExampleOutputStream.

5. Wählen Sie die Registerkarte Datenanzeige.

6. Wählen Sie einen beliebigen Shard aus, behalten Sie „Letzte“ als Startposition bei und wählen Sie dann „Datensätze abrufen“. Möglicherweise wird die Fehlermeldung „Für diese Anfrage wurde kein Datensatz gefunden“ angezeigt. Wenn ja, wählen Sie „Erneut versuchen, Datensätze abzurufen“. Die neuesten im Stream veröffentlichten Datensätze werden angezeigt.

7. Wählen Sie den Wert in der Datenspalte aus, um den Inhalt des Datensatzes im JSON Format zu überprüfen.

So stoppen Sie die Anwendung

1. Wählen Sie in der Dropdownliste Aktion die Option Stopp aus.

2. Der Status in den Anwendungsdetails wechselt von Running zu und dann zu dem Ready ZeitpunktStopping, an dem die Anwendung vollständig gestoppt wurde.

   Anmerkung

   Vergessen Sie nicht, auch das Senden von Daten aus dem Python-Skript oder dem Kinesis Data Generator an den Eingabestream zu beenden.