Création et exécution d'un service géré pour l'application Apache Flink pour Python

Pour créer les flux de données (AWS CLI)

1. Pour créer le premier flux (ExampleInputStream), utilisez la commande Amazon Kinesis create-stream AWS CLI suivante.

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-east-1 

2. Pour créer le second flux utilisé par l’application pour écrire la sortie, exécutez la même commande en remplaçant le nom du flux par ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-east-1 

1. Cloner le référentiel distant à l’aide de la commande suivante :

   git clone https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples.git

2. Accédez au répertoire ./python/GettingStarted.

Pour exécuter votre application à partir de la ligne de commande

1. Assurez-vous que l'environnement Python autonome tel que Conda ou celui dans VirtualEnv lequel vous avez installé la bibliothèque Python Flink est actuellement actif.

2. Assurez-vous d'avoir couru mvn package au moins une fois.

3. Définissez la variable d'environnement :IS_LOCAL = true

   $ export IS_LOCAL=true

4. Exécutez l'application sous la forme d'un script Python normal.

   $python main.py

Pour exécuter l'application depuis le IDE

1. Configurez votre ordinateur IDE pour exécuter le main.py script avec la configuration suivante :

   1. Utilisez l'environnement Python autonome tel que Conda ou celui dans VirtualEnv lequel vous avez installé la PyFlink bibliothèque.

   2. Utilisez les AWS informations d'identification pour accéder aux flux de données Kinesis en entrée et en sortie.

   3. Configurez IS_LOCAL = true.

2. Le processus exact pour définir la configuration d'exécution dépend de vous IDE et varie.

3. Lorsque vous avez configuré votreIDE, exécutez le script Python et utilisez les outils IDE que vous avez fournis pendant l'exécution de l'application.

Pour télécharger le JAR fichier de code de l'application

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez le bucket que vous avez créé précédemment pour le code de l'application.

3. Sélectionnez Charger.

4. Choisissez Add files.

5. Accédez au fichier .zip généré à l'étape précédente :target/managed-flink-pyflink-getting-started-1.0.0.zip.

6. Choisissez Télécharger sans modifier les autres paramètres.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Vérifiez que la bonne région est sélectionnée : USA Est (Virginie du Nord) us-east-1.

3. Ouvrez le menu de droite et choisissez Applications Apache Flink, puis Créer une application de streaming. Vous pouvez également choisir Créer une application de streaming dans la section Commencer de la page initiale.

4. Sur la page Créer des applications de streaming :

   • Pour Choisir une méthode pour configurer l'application de traitement des flux, choisissez Créer à partir de zéro.

   • Pour la configuration d'Apache Flink, version de l'application Flink, choisissez Apache Flink 1.19.

   • Pour la configuration de l'application :

     • Pour Nom de l’application, saisissez MyApplication.

     • Pour Description, saisissez My Python test app.

     • Dans Accès aux ressources de l'application, choisissez Create/update IAM role kinesis-analytics- MyApplication -us-east-1 avec les politiques requises.

   • Pour les paramètres du modèle pour les applications :

     • Dans Modèles, sélectionnez Développement.

   • Choisissez Créer une application de streaming.

Pour modifier la IAM politique afin d'ajouter des autorisations au compartiment S3

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Choisissez Stratégies. Choisissez la politique kinesis-analytics-service-MyApplication-us-east-1 créée pour vous par la console dans la section précédente.

3. Choisissez Modifier, puis choisissez l'JSONonglet.

4. Ajoutez la section mise en surbrillance dans l’exemple de stratégie suivant à la politique. Remplacez le compte d'exemple IDs (012345678901) avec votre identifiant de compte.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::my-bucket/kinesis-analytics-placeholder-s3-object"
               ]
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

5. Choisissez Suivant, puis Enregistrer les modifications.

Pour configurer l’application

1. Sur la MyApplicationpage, choisissez Configurer.

2. Dans la section Emplacement du code de l'application :

   • Pour le compartiment Amazon S3, sélectionnez le compartiment que vous avez créé précédemment pour le code de l'application. Choisissez Parcourir et sélectionnez le compartiment approprié, puis choisissez Choisir. Ne sélectionnez pas le nom du bucket.

   • Pour le chemin de l'objet Amazon S3, saisissez managed-flink-pyflink-getting-started-1.0.0.zip.

3. Pour les autorisations d'accès, choisissez Créer/mettre à jour IAM le rôle kinesis-analytics-MyApplication-us-east-1 avec les politiques requises.

4. Accédez aux propriétés d'exécution et conservez les valeurs par défaut pour tous les autres paramètres.

5. Choisissez Ajouter un nouvel article et ajoutez chacun des paramètres suivants :

   ID du groupe	Clé	Valeur
   InputStream0	stream.name	ExampleInputStream
   InputStream0	flink.stream.initpos	LATEST
   InputStream0	aws.region	us-east-1
   OutputStream0	stream.name	ExampleOutputStream
   OutputStream0	aws.region	us-east-1
   kinesis.analytics.flink.run.options	python	main.py
   kinesis.analytics.flink.run.options	jarfile	lib/pyflink-dependencies.jar

6. Ne modifiez aucune des autres sections et choisissez Enregistrer les modifications.

Pour exécuter l’application

1. Sur la console d'Amazon Managed Service pour Apache Flink, choisissez My Application, puis Run.

2. Sur la page suivante, page de configuration de la restauration de l'application, choisissez Exécuter avec le dernier instantané, puis sélectionnez Exécuter.

   Le statut dans l'application détaille les transitions entre Ready le Starting et le Running moment où l'application a démarré.

Pour ouvrir le tableau de bord d'

1. Choisissez Ouvrir le tableau de bord Apache Flink. Le tableau de bord s'ouvre sur une nouvelle page.

2. Dans la liste des tâches en cours, choisissez la tâche unique que vous pouvez voir.

   Note

   Si vous définissez les propriétés d'exécution ou si vous modifiez les IAM politiques de manière incorrecte, le statut de l'application peut devenirRunning, mais le tableau de bord Flink indique que le travail redémarre continuellement. Il s'agit d'un scénario d'échec courant si l'application est mal configurée ou n'est pas autorisée à accéder aux ressources externes.

   Dans ce cas, consultez l'onglet Exceptions du tableau de bord Flink pour connaître la cause du problème.

Pour consulter les statistiques

1. À côté du bouton Actualiser, sélectionnez 10 secondes dans la liste déroulante.

2. Lorsque l'application est en cours d'exécution et fonctionne correctement, vous pouvez constater une augmentation continue de la métrique de disponibilité.

3. La métrique de redémarrage complet doit être égale à zéro. S'il augmente, la configuration peut présenter des problèmes. Pour étudier le problème, consultez l'onglet Exceptions du tableau de bord Flink.

4. La métrique du nombre de points de contrôle ayant échoué doit être égale à zéro dans une application saine.

   Note

   Ce tableau de bord affiche un ensemble fixe de mesures avec une granularité de 5 minutes. Vous pouvez créer un tableau de bord d'application personnalisé avec tous les indicateurs du CloudWatch tableau de bord.

Pour afficher le résultat

1. Ouvrez la console Kinesis à l'adresse /kinesis. https://console.aws.amazon.com

2. Vérifiez que la région est la même que celle que vous utilisez pour exécuter ce didacticiel. Par défaut, il s'agit de US-East-1US East (Virginie du Nord). Modifiez la région si nécessaire.

3. Choisissez Data Streams.

4. Sélectionnez le flux que vous souhaitez observer. Dans le cadre de ce tutoriel, utilisez ExampleOutputStream.

5. Choisissez l'onglet Visionneuse de données.

6. Sélectionnez n'importe quelle partition, conservez Dernière comme position de départ, puis choisissez Obtenir des enregistrements. Le message d'erreur « aucun enregistrement trouvé pour cette demande » peut s'afficher. Si tel est le cas, choisissez Réessayer d'obtenir des enregistrements. Les derniers enregistrements publiés sur le stream s'affichent.

7. Sélectionnez la valeur dans la colonne Données pour inspecter le contenu de l'enregistrement au JSON format.

Pour arrêter l’application

1. Dans la liste déroulante Action, choisissez Stop.

2. Le statut de l'application détaille les transitions entre Running le et le Ready moment où l'application est complètement arrêtée. Stopping

   Note

   N'oubliez pas d'arrêter également d'envoyer des données au flux d'entrée à partir du script Python ou du Kinesis Data Generator.