Erstellen Sie eine Managed Service for Apache Flink-Anwendung und führen Sie sie aus

So laden Sie den Java-Anwendungscode herunter

1. Klonen Sie das Remote-Repository, indem Sie den folgenden Befehl verwenden:

   git clone https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples.git

2. Navigieren Sie zum ./java/GettingStartedTable Verzeichnis .

Um den S3-Bucket zu durchsuchen und die von der Anwendung geschriebene Datei zu beobachten

1. 1. Öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/.

2. Wählen Sie den Bucket aus, den Sie zuvor erstellt haben.

3. Navigieren Sie zum output Pfad und dann zu den Datums- und Stundenordnern, die der aktuellen Uhrzeit in der UTC-Zeitzone entsprechen.

4. Aktualisieren Sie regelmäßig, um zu beobachten, dass alle 5 Sekunden neue Dateien angezeigt werden.

5. Wählen Sie eine Datei aus und laden Sie sie herunter, um den Inhalt zu beobachten.

   Anmerkung

   Standardmäßig haben die Dateien keine Erweiterungen. Der Inhalt ist als JSON formatiert. Sie können die Dateien mit einem beliebigen Texteditor öffnen, um den Inhalt zu überprüfen.

So laden Sie den Anwendungscode hoch

1. Öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/.

2. Wählen Sie den Bucket aus, den Sie zuvor für den Anwendungscode erstellt haben.

3. Wählen Sie Feld hochladen.

4. Klicken Sie auf Add files.

5. Navigieren Sie zu der im vorherigen Abschnitt generierten JAR-Datei:target/amazon-msf-java-table-app-1.0.jar.

6. Wählen Sie Hochladen, ohne andere Einstellungen zu ändern.

   Warnung

   Stellen Sie sicher, dass Sie die richtige JAR-Datei in auswählen<repo-dir>/java/GettingStarted/target/amazon/msf-java-table-app-1.0.jar.

   Das Zielverzeichnis enthält auch andere JAR-Dateien, die Sie nicht hochladen müssen.

1. Öffnen Sie die Managed Service for Apache Flink-Konsole unter https://console.aws.amazon.com /flink

2. Stellen Sie sicher, dass die richtige Region ausgewählt ist: USA Ost (Nord-Virginia) us-east-1.

3. Wählen Sie im rechten Menü Apache Flink-Anwendungen und dann Streaming-Anwendung erstellen. Wählen Sie alternativ im Bereich Erste Schritte auf der Startseite die Option Streaming-Anwendung erstellen aus.

4. Gehen Sie auf der Seite Streaming-Anwendung erstellen wie folgt vor:

   • Wählen Sie für Wählen Sie eine Methode zum Einrichten der Streamverarbeitungsanwendung die Option Von Grund auf neu erstellen aus.

   • Wählen Sie für die Apache Flink-Konfiguration und die Version von Application Flink die Option Apache Flink 1.19.

   • Gehen Sie im Abschnitt Anwendungskonfiguration wie folgt vor:

     • Geben Sie als Anwendungsname ein MyApplication.

     • Geben Sie für Beschreibung den Text My Java Table API test app ein.

     • Wählen Sie für Zugriff auf Anwendungsressourcen die Option Create/update IAM role kinesis-analytics-MyApplication-us -east-1 with required policies aus.

   • Gehen Sie unter Vorlage für Anwendungseinstellungen wie folgt vor:

     • Wählen Sie für Vorlagen die Option Entwicklung aus.

5. Wählen Sie Streaming-Anwendung erstellen aus.

Um die IAM-Richtlinie zu bearbeiten, um S3-Bucket-Berechtigungen hinzuzufügen

1. Öffnen Sie unter https://console.aws.amazon.com/iam/ die IAM-Konsole.

2. Wählen Sie Policies (Richtlinien). Wählen Sie die kinesis-analytics-service-MyApplication-us-east-1-Richtlinie aus, die die Konsole im vorherigen Abschnitt für Sie erstellt hat.

3. Wählen Sie Bearbeiten und dann die Registerkarte JSON.

4. Fügen Sie den markierten Abschnitt der folgenden Beispielrichtlinie der Richtlinie hinzu. Ersetzen Sie die Beispielkonto-ID (012345678901) durch Ihre Konto-ID und <bucket-name> den Namen des S3-Buckets, den Sie erstellt haben.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::my-bucket/kinesis-analytics-placeholder-s3-object"
               ]
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           }, 
           {
               "Sid": "WriteOutputBucket", 
               "Effect": "Allow", 
               "Action": "s3:*", 
               Resource": [
                   "arn:aws:s3:::my-bucket"
               ]
          }
       ]
   }

5. Wählen Sie Weiter und dann Änderungen speichern aus.

Konfigurieren der Anwendung

1. Wählen Sie auf der MyApplicationSeite Configure aus.

2. Wählen Sie im Abschnitt Speicherort des Anwendungscodes die Option Konfigurieren aus.

   • Wählen Sie für Amazon S3 S3-Bucket den Bucket aus, den Sie zuvor für den Anwendungscode erstellt haben. Wählen Sie Durchsuchen und wählen Sie den richtigen Bucket aus. Wählen Sie dann Wählen aus. Klicken Sie nicht auf den Bucket-Namen.

   • Geben Sie als Pfad zum Amazon-S3-Objekt den Wert amazon-msf-java-table-app-1.0.jar ein.

3. Wählen Sie für Zugriffsberechtigungen die Option Erstellen / Aktualisieren Sie IAM-Rolle kinesis-analytics-MyApplication-us-east-1 aus.

4. Fügen Sie im Abschnitt Runtime-Eigenschaften die folgenden Eigenschaften hinzu.

5. Wählen Sie Neues Element hinzufügen und fügen Sie jeden der folgenden Parameter hinzu:

   Gruppen-ID	Schlüssel	Value (Wert)
   bucket	name	your-bucket-name
   bucket	path	output

6. Ändern Sie keine anderen Einstellungen.

7. Wählen Sie Änderungen speichern.

Ausführen der Anwendung

1. Kehren Sie zur Konsolenseite in Amazon Managed Service für Apache Flink zurück und wählen Sie MyApplication.

2. Wählen Sie Ausführen, um die Anwendung zu starten.

3. Wählen Sie in der Konfiguration zur Anwendungswiederherstellung die Option Mit neuestem Snapshot ausführen aus.

4. Wählen Sie Ausführen aus.

5. Der Status in den Anwendungsdetails wechselt von Ready zu Starting und dann zu „RunningNach dem Start der Anwendung“.

Um das Dashboard zu öffnen und den Job anzusehen

1. Wählen Sie Apache Flink-Dashboard öffnen. Das Dashboard wird auf einer neuen Seite geöffnet.

2. Wählen Sie in der Liste „Laufende Jobs“ den einzelnen Job aus, den Sie sehen können.

   Anmerkung

   Wenn Sie die Laufzeiteigenschaften festgelegt oder die IAM-Richtlinien falsch bearbeitet haben, ändert sich der Anwendungsstatus möglicherweise auf, aber das Flink-Dashboard zeigt anRunning, dass der Job kontinuierlich neu gestartet wird. Dies ist ein häufiges Fehlerszenario, wenn die Anwendung falsch konfiguriert ist oder nicht über die erforderlichen Berechtigungen für den Zugriff auf die externen Ressourcen verfügt.

   Überprüfen Sie in diesem Fall die Registerkarte Ausnahmen im Flink-Dashboard, um die Ursache des Problems zu untersuchen.

Um die Metriken einzusehen

1. Wählen Sie neben der Schaltfläche „Aktualisieren“ in der Dropdownliste die Option 10 Sekunden aus.

2. Wenn die Anwendung läuft und fehlerfrei ist, können Sie sehen, dass die Uptime-Metrik kontinuierlich zunimmt.

3. Die Metrik für vollständige Neustarts sollte Null sein. Wenn sie zunimmt, kann es bei der Konfiguration zu Problemen kommen. Überprüfen Sie die Registerkarte Ausnahmen im Flink-Dashboard, um das Problem zu untersuchen.

4. Die Metrik „Anzahl fehlgeschlagener Checkpoints“ sollte in einer fehlerfreien Anwendung Null sein.

   Anmerkung

   Dieses Dashboard zeigt einen festen Satz von Metriken mit einer Granularität von 5 Minuten. Sie können ein benutzerdefiniertes Anwendungs-Dashboard mit beliebigen Metriken im CloudWatch Dashboard erstellen.

So stoppen Sie die Anwendung

1. Wählen Sie in der Dropdownliste Aktion die Option Stopp aus.

2. Der Status in den Anwendungsdetails wechselt von Running zu und dann zu dem Ready ZeitpunktStopping, an dem die Anwendung vollständig gestoppt wurde.

   Anmerkung

   Vergessen Sie nicht, auch das Senden von Daten aus dem Python-Skript oder dem Kinesis Data Generator an den Eingabestream zu beenden.