Création et exécution d'un service géré pour l'application Apache Flink

Pour créer les flux de données (AWS CLI)

1. Pour créer le premier flux (ExampleInputStream), utilisez la create-stream AWS CLI commande Amazon Kinesis suivante :

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-east-1 \

2. Pour créer le deuxième flux que l'application utilise pour écrire la sortie, exécutez la même commande en changeant le nom du flux comme suit ExampleOutputStream :

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-east-1 \

1. Cloner le référentiel distant à l’aide de la commande suivante :

   git clone https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples.git

2. Accédez au répertoire amazon-managed-service-for-apache-flink-examples/tree/main/java/GettingStarted.

Pour observer les records

1. Ouvrez la console Kinesis à https://console.aws.amazon.com/kinesis l'adresse.

2. Vérifiez que la région est la même que celle dans laquelle vous exécutez ce didacticiel, à savoir us-east-1 US East (Virginie du Nord) par défaut. Modifiez la région si elle ne correspond pas.

3. Choisissez Data Streams.

4. Sélectionnez le flux que vous souhaitez observer, ExampleInputStream soit ExampleOutputStream.

5. Choisissez l'onglet Visualiseur de données.

6. Choisissez n'importe quel fragment, conservez Dernière comme position de départ, puis choisissez Obtenir des enregistrements. Le message d'erreur « Aucun enregistrement trouvé pour cette demande » peut s'afficher. Si c'est le cas, choisissez Réessayer d'obtenir des enregistrements. Les derniers enregistrements publiés sur le stream s'affichent.

7. Choisissez la valeur dans la colonne Données pour inspecter le contenu de l'enregistrement au format JSON.

Pour télécharger le fichier JAR du code de l'application

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez le compartiment que vous avez créé précédemment pour le code de l'application.

3. Choisissez Charger.

4. Choisissez Add files.

5. Accédez au fichier JAR généré à l'étape précédente :target/amazon-msf-java-stream-app-1.0.jar.

6. Choisissez Télécharger sans modifier aucun autre paramètre.

Pour créer l'application

1. Connectez-vous au et ouvrez Console de gestion AWS la console Amazon MSF à l'adresse https://console.aws.amazon.com/flink.

2. Vérifiez que la bonne région est sélectionnée : us-east-1 US East (Virginie du Nord)

3. Ouvrez le menu de droite et choisissez Applications Apache Flink, puis Créer une application de streaming. Vous pouvez également choisir Créer une application de streaming dans le conteneur Get started de la page initiale.

4. Sur la page Créer une application de diffusion en continu :

   • Choisissez une méthode pour configurer l'application de traitement des flux : choisissez Créer à partir de zéro.

   • Configuration d'Apache Flink, version d'Application Flink : choisissez Apache Flink 1.20.

5. Configurez votre application

   • Nom de l'application : entrezMyApplication.

   • Description : entrezMy java test app.

   • Accès aux ressources de l'application : choisissez Créer/mettre à jour le rôle IAM kinesis-analytics-MyApplication-us-east-1 avec les politiques requises.

6. Configurez votre modèle pour les paramètres de l'application

   • Modèles : choisissez Développement.

7. Choisissez Créer une application de streaming en bas de la page.

Pour modifier la politique

1. Ouvrez la console IAM à l’adresse https://console.aws.amazon.com/iam/.

2. Choisissez Stratégies. Choisissez la politique kinesis-analytics-service-MyApplication-us-east-1 créée pour vous par la console dans la section précédente.

3. Choisissez Modifier, puis choisissez l'onglet JSON.

4. Ajoutez la section mise en surbrillance dans l’exemple de stratégie suivant à la politique. Remplacez les exemples d'ID de compte (012345678901) par votre ID de compte.

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::my-bucket/kinesis-analytics-placeholder-s3-object"
               ]
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleOutputStream"
           }
       ]
   }
   

5. Cliquez sur Suivant en bas de la page, puis sur Enregistrer les modifications.

Pour modifier la configuration

1. Sur la MyApplication page, choisissez Configurer.

2. Dans la section Emplacement du code d'application :

   • Pour le compartiment Amazon S3, sélectionnez le compartiment que vous avez créé précédemment pour le code de l'application. Choisissez Parcourir et sélectionnez le compartiment approprié, puis sélectionnez Choisir. Ne cliquez pas sur le nom du bucket.

   • Pour le chemin de l'objet Amazon S3, saisissez amazon-msf-java-stream-app-1.0.jar.

3. Pour les autorisations d'accès, choisissez Créer/mettre à jour le rôle IAM kinesis-analytics-MyApplication-us-east-1 avec les politiques requises.

4. Dans la section Propriétés d'exécution, ajoutez les propriétés suivantes.

5. Choisissez Ajouter un nouvel article et ajoutez chacun des paramètres suivants :

   ID du groupe	Clé	Valeur
   InputStream0	stream.name	ExampleInputStream
   InputStream0	aws.region	us-east-1
   OutputStream0	stream.name	ExampleOutputStream
   OutputStream0	aws.region	us-east-1

6. Ne modifiez aucune des autres sections.

7. Sélectionnez Enregistrer les modifications.

Pour exécuter l’application

1. Sur la console d'Amazon Managed Service pour Apache Flink, choisissez My Application, puis choisissez Run.

2. Sur la page suivante, la page de configuration de restauration de l'application, choisissez Exécuter avec le dernier instantané, puis choisissez Exécuter.

   Les détails de l'état de l'application passent de la date Ready à laquelle l'application a été lancée, Starting puis de la Running date à laquelle elle a été lancée.

Pour ouvrir le tableau de bord d'

1. Choisissez le tableau de bord Open Apache Flink. Le tableau de bord s'ouvre sur une nouvelle page.

2. Dans la liste des tâches en cours, choisissez la seule tâche que vous pouvez voir.

   Note

   Si vous définissez les propriétés d'exécution ou si vous modifiez les politiques IAM de manière incorrecte, l'état de l'application peut changer enRunning, mais le tableau de bord Flink indique que la tâche redémarre continuellement. Il s'agit d'un scénario d'échec courant si l'application est mal configurée ou n'est pas autorisée à accéder aux ressources externes.

   Dans ce cas, consultez l'onglet Exceptions du tableau de bord Flink pour identifier la cause du problème.

Pour consulter les statistiques

1. À côté du bouton Actualiser, sélectionnez 10 secondes dans la liste déroulante.

2. Lorsque l'application est en cours d'exécution et en bon état, vous pouvez constater que la métrique de disponibilité augmente continuellement.

3. La métrique fullrestarts doit être égale à zéro. S'il augmente, la configuration peut présenter des problèmes. Pour étudier le problème, consultez l'onglet Exceptions du tableau de bord Flink.

4. La métrique Nombre de points de contrôle ayant échoué doit être égale à zéro dans une application saine.

   Note

   Ce tableau de bord affiche un ensemble fixe de mesures avec une granularité de 5 minutes. Vous pouvez créer un tableau de bord d'application personnalisé avec toutes les mesures du CloudWatch tableau de bord.

Pour afficher la sortie

1. Ouvrez la console Kinesis à https://console.aws.amazon.com/kinesis l'adresse.

2. Vérifiez que la région est la même que celle que vous utilisez pour exécuter ce didacticiel. Par défaut, il s'agit de US-East-1US East (Virginie du Nord). Modifiez la région si nécessaire.

3. Choisissez Data Streams.

4. Sélectionnez le flux que vous souhaitez observer. Dans le cadre de ce tutoriel, utilisez ExampleOutputStream.

5. Choisissez l'onglet Visualiseur de données.

6. Sélectionnez n'importe quel fragment, conservez Dernière comme position de départ, puis choisissez Obtenir des enregistrements. Le message d'erreur « aucun enregistrement n'a été trouvé pour cette demande » peut s'afficher. Si c'est le cas, choisissez Réessayer d'obtenir des enregistrements. Les derniers enregistrements publiés sur le stream s'affichent.

7. Sélectionnez la valeur dans la colonne Données pour inspecter le contenu de l'enregistrement au format JSON.

Pour arrêter l’application

1. Dans la liste déroulante Action, choisissez Arrêter.

2. Le statut dans les détails de l'application passe de Running àStopping, puis au Ready moment où l'application est complètement arrêtée.

   Note

   N'oubliez pas également d'arrêter d'envoyer des données au flux d'entrée à partir du script Python ou du générateur de données Kinesis.