Création et exécution d'un service géré pour l'application Apache Flink

Pour créer les flux de données (AWS CLI)

1. Pour créer le premier flux (ExampleInputStream), utilisez la commande Amazon Kinesis create-stream AWS CLI suivante :

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-east-1 \

2. Pour créer le deuxième flux que l'application utilise pour écrire la sortie, exécutez la même commande, en changeant le nom du flux en ExampleOutputStream :

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-east-1 \

1. Cloner le référentiel distant à l’aide de la commande suivante :

   git clone https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples.git

2. Accédez au répertoire amazon-managed-service-for-apache-flink-examples/tree/main/java/GettingStarted.

Pour observer les records

1. Ouvrez la console Kinesis à l'adresse /kinesis. https://console.aws.amazon.com

2. Vérifiez que la région est la même que celle dans laquelle vous exécutez ce didacticiel, à savoir us-east-1 USA East (Virginie du Nord) par défaut. Modifiez la région si elle ne correspond pas.

3. Choisissez Data Streams.

4. Sélectionnez le flux que vous souhaitez observer, ExampleInputStream soit ExampleOutputStream.

5. Choisissez l'onglet Visionneuse de données.

6. Choisissez n'importe quel Shard, conservez Latest comme position de départ, puis choisissez Get records. Le message d'erreur « Aucun enregistrement trouvé pour cette demande » peut s'afficher. Si tel est le cas, choisissez Réessayer d'obtenir des enregistrements. Les derniers enregistrements publiés sur le stream s'affichent.

7. Choisissez la valeur dans la colonne Données pour inspecter le contenu de l'enregistrement au JSON format.

Pour télécharger le JAR fichier de code de l'application

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez le bucket que vous avez créé précédemment pour le code de l'application.

3. Sélectionnez Charger.

4. Choisissez Add files.

5. Accédez au JAR fichier généré à l'étape précédente : target/amazon-msf-java-stream-app-1.0.jar

6. Choisissez Upload sans modifier les autres paramètres.

Pour créer l'application

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Vérifiez que la bonne région est sélectionnée : us-east-1 US East (Virginie du Nord)

3. Ouvrez le menu de droite et choisissez Applications Apache Flink, puis Créer une application de streaming. Vous pouvez également choisir Créer une application de streaming dans le conteneur Get started de la page initiale.

4. Sur la page Créer une application de streaming :

   • Choisissez une méthode pour configurer l'application de traitement des flux : choisissez Create from scratch.

   • Configuration d'Apache Flink, version de l'application Flink : choisissez Apache Flink 1.19.

5. Configurez votre application

   • Nom de l'application : entrezMyApplication.

   • Description : entrezMy java test app.

   • Accès aux ressources de l'application : choisissez Créer/mettre à jour IAM le rôle kinesis-analytics-MyApplication-us-east-1 avec les politiques requises.

6. Configurez votre modèle pour les paramètres de l'application

   • Modèles : choisissez Développement.

7. Choisissez Créer une application de streaming au bas de la page.

Pour modifier la politique

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Choisissez Stratégies. Choisissez la politique kinesis-analytics-service-MyApplication-us-east-1 créée pour vous par la console dans la section précédente.

3. Choisissez Modifier, puis choisissez l'JSONonglet.

4. Ajoutez la section mise en surbrillance dans l’exemple de stratégie suivant à la politique. Remplacez le compte d'exemple IDs (012345678901) avec votre identifiant de compte.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::my-bucket/kinesis-analytics-placeholder-s3-object"
               ]
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

5. Choisissez Suivant au bas de la page, puis cliquez sur Enregistrer les modifications.

Pour modifier la configuration

1. Sur la MyApplicationpage, choisissez Configurer.

2. Dans la section Emplacement du code de l'application :

   • Pour le compartiment Amazon S3, sélectionnez le compartiment que vous avez créé précédemment pour le code de l'application. Choisissez Parcourir et sélectionnez le compartiment approprié, puis sélectionnez Choisir. Ne cliquez pas sur le nom du bucket.

   • Pour le chemin de l'objet Amazon S3, saisissez amazon-msf-java-stream-app-1.0.jar.

3. Pour les autorisations d'accès, choisissez Créer/mettre à jour IAM le rôle kinesis-analytics-MyApplication-us-east-1 avec les politiques requises.

4. Dans la section Propriétés d'exécution, ajoutez les propriétés suivantes.

5. Choisissez Ajouter un nouvel article et ajoutez chacun des paramètres suivants :

   ID du groupe	Clé	Valeur
   InputStream0	stream.name	ExampleInputStream
   InputStream0	aws.region	us-east-1
   OutputStream0	stream.name	ExampleOutputStream
   OutputStream0	aws.region	us-east-1

6. Ne modifiez aucune des autres sections.

7. Sélectionnez Enregistrer les modifications.

Pour exécuter l’application

1. Sur la console d'Amazon Managed Service pour Apache Flink, choisissez My Application, puis Run.

2. Sur la page suivante, page de configuration de la restauration de l'application, choisissez Exécuter avec le dernier instantané, puis sélectionnez Exécuter.

   Le statut dans l'application détaille les transitions entre Ready le Starting et le Running moment où l'application a démarré.

Pour ouvrir le tableau de bord d'

1. Choisissez Ouvrir le tableau de bord Apache Flink. Le tableau de bord s'ouvre sur une nouvelle page.

2. Dans la liste des tâches en cours, choisissez la tâche unique que vous pouvez voir.

   Note

   Si vous définissez les propriétés d'exécution ou si vous modifiez les IAM politiques de manière incorrecte, le statut de l'application peut devenirRunning, mais le tableau de bord Flink indique que le travail redémarre continuellement. Il s'agit d'un scénario d'échec courant si l'application est mal configurée ou n'est pas autorisée à accéder aux ressources externes.

   Dans ce cas, consultez l'onglet Exceptions du tableau de bord Flink pour connaître la cause du problème.

Pour consulter les statistiques

1. À côté du bouton Actualiser, sélectionnez 10 secondes dans la liste déroulante.

2. Lorsque l'application est en cours d'exécution et saine, vous pouvez constater une augmentation continue de la métrique de disponibilité.

3. La métrique de redémarrage complet doit être égale à zéro. S'il augmente, la configuration peut présenter des problèmes. Pour étudier le problème, consultez l'onglet Exceptions du tableau de bord Flink.

4. La métrique du nombre de points de contrôle ayant échoué doit être égale à zéro dans une application saine.

   Note

   Ce tableau de bord affiche un ensemble fixe de mesures avec une granularité de 5 minutes. Vous pouvez créer un tableau de bord d'application personnalisé avec tous les indicateurs du CloudWatch tableau de bord.

Pour afficher le résultat

1. Ouvrez la console Kinesis à l'adresse /kinesis. https://console.aws.amazon.com

2. Vérifiez que la région est la même que celle que vous utilisez pour exécuter ce didacticiel. Par défaut, il s'agit de US-East-1US East (Virginie du Nord). Modifiez la région si nécessaire.

3. Choisissez Data Streams.

4. Sélectionnez le flux que vous souhaitez observer. Dans le cadre de ce tutoriel, utilisez ExampleOutputStream.

5. Choisissez l'onglet Visionneuse de données.

6. Sélectionnez n'importe quelle partition, conservez Dernière comme position de départ, puis choisissez Obtenir des enregistrements. Le message d'erreur « aucun enregistrement trouvé pour cette demande » peut s'afficher. Si tel est le cas, choisissez Réessayer d'obtenir des enregistrements. Les derniers enregistrements publiés sur le stream s'affichent.

7. Sélectionnez la valeur dans la colonne Données pour inspecter le contenu de l'enregistrement au JSON format.

Pour arrêter l’application

1. Dans la liste déroulante Action, choisissez Stop.

2. Le statut de l'application détaille les transitions entre Running le et le Ready moment où l'application est complètement arrêtée. Stopping

   Note

   N'oubliez pas d'arrêter également d'envoyer des données au flux d'entrée à partir du script Python ou du Kinesis Data Generator.