Informations sur les versions antérieures du service géré pour Apache Flink

1. Assurez-vous qu'Apache Maven est installé et que votre variable d'JAVA_HOMEenvironnement pointe vers un JDK plutôt que vers unJRE. Vous pouvez tester votre installation Apache Maven à l’aide de la commande suivante :

   mvn -version

2. Téléchargez le code source d’Apache Flink version 1.8.2 :

   wget https://archive.apache.org/dist/flink/flink-1.8.2/flink-1.8.2-src.tgz

3. Décompressez le code source d’Apache Flink :

   tar -xvf flink-1.8.2-src.tgz

4. Accédez au répertoire du code source d’Apache Flink :

   cd flink-1.8.2

5. Compilez et installez Apache Flink :

   mvn clean install -Pinclude-kinesis -DskipTests

   Note

   Si vous compilez Flink sous Microsoft Windows, vous devez ajouter le paramètre -Drat.skip=true.

Pour vous inscrire à un Compte AWS

1. Ouvrez l'https://portal.aws.amazon.com/billing/inscription.

2. Suivez les instructions en ligne.

   Dans le cadre de la procédure d‘inscription, vous recevrez un appel téléphonique et vous saisirez un code de vérification en utilisant le clavier numérique du téléphone.

   Lorsque vous vous inscrivez à un Compte AWS, un Utilisateur racine d'un compte AWSest créé. Par défaut, seul l‘utilisateur racine a accès à l‘ensemble des Services AWS et des ressources de ce compte. La meilleure pratique de sécurité consiste à attribuer un accès administratif à un utilisateur, et à utiliser uniquement l‘utilisateur racine pour effectuer les tâches nécessitant un accès utilisateur racine.

Sécurisez votre Utilisateur racine d'un compte AWS

1. Connectez-vous en AWS Management Consoletant que propriétaire du compte en choisissant Utilisateur root et en saisissant votre adresse Compte AWS e-mail. Sur la page suivante, saisissez votre mot de passe.

   Pour obtenir de l‘aide pour vous connecter en utilisant l‘utilisateur racine, consultez Connexion en tant qu‘utilisateur racine dans le Guide de l‘utilisateur Connexion à AWS .

2. Activez l'authentification multifactorielle (MFA) pour votre utilisateur root.

   Pour obtenir des instructions, voir Activer un MFA périphérique virtuel pour votre utilisateur Compte AWS root (console) dans le guide de IAM l'utilisateur.

Création d'un utilisateur doté d'un accès administratif

1. Activez IAM Identity Center.

   Pour obtenir des instructions, consultez Activation d’ AWS IAM Identity Center dans le Guide de l’utilisateur AWS IAM Identity Center .

2. Dans IAM Identity Center, accordez un accès administratif à un utilisateur.

   Pour un didacticiel sur l'utilisation du Répertoire IAM Identity Center comme source d'identité, voir Configurer l'accès utilisateur par défaut Répertoire IAM Identity Center dans le Guide de AWS IAM Identity Center l'utilisateur.

Connexion en tant qu‘utilisateur doté d'un accès administratif

• Pour vous connecter avec votre utilisateur IAM Identity Center, utilisez l'URLidentifiant envoyé à votre adresse e-mail lorsque vous avez créé l'utilisateur IAM Identity Center.

  Pour obtenir de l'aide pour vous connecter en utilisant un utilisateur d'IAMIdentity Center, consultez la section Connexion au portail AWS d'accès dans le guide de Connexion à AWS l'utilisateur.

Attribution d'un accès à d'autres utilisateurs

1. Dans IAM Identity Center, créez un ensemble d'autorisations conforme à la meilleure pratique consistant à appliquer les autorisations du moindre privilège.

   Pour obtenir des instructions, consultez Création d’un ensemble d’autorisations dans le Guide de l’utilisateur AWS IAM Identity Center .

2. Attribuez des utilisateurs à un groupe, puis attribuez un accès par authentification unique au groupe.

   Pour obtenir des instructions, consultez Ajout de groupes dans le Guide de l’utilisateur AWS IAM Identity Center .

Pour configurer le AWS CLI

1. Téléchargez et configurez l’interface AWS CLI. Pour obtenir des instructions, consultez les rubriques suivantes dans le Guide de l’utilisateur de l’interface AWS Command Line Interface  :

   • Installation de AWS Command Line Interface

   • Configuration de l’interface AWS CLI (français non garanti)

2. Ajoutez un profil nommé pour l'utilisateur administrateur dans le AWS CLI config fichier. Vous utiliserez ce profil lorsque vous exécuterez les commandes AWS CLI . Pour plus d'informations sur les profils nommés, consultez la rubrique Profils nommés dans le Guide de l'utilisateur AWS Command Line Interface .

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Pour obtenir la liste des AWS régions disponibles, consultez la section Régions et points de terminaison dans le Référence générale d'Amazon Web Services.

   Note

   Les exemples de code et de commandes présentés dans ce didacticiel utilisent la région USA Ouest (Oregon). Pour utiliser une autre région, remplacez la région dans le code et les commandes de ce didacticiel par la région que vous souhaitez utiliser.

3. Vérifiez la configuration en saisissant la commande d’aide suivante à l’invite de commande :

   aws help

Pour créer les flux de données (AWS CLI)

1. Pour créer le premier flux (ExampleInputStream), utilisez la commande Amazon Kinesis create-stream AWS CLI suivante.

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Pour créer le second flux utilisé par l’application pour écrire la sortie, exécutez la même commande en remplaçant le nom du flux par ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Créez un fichier nommé stock.py avec le contenu suivant :

   
       import datetime
       import json
       import random
       import boto3
       STREAM_NAME = "ExampleInputStream"
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2')) 

2. Plus loin dans ce didacticiel, vous exécutez le script stock.py pour envoyer des données à l’application.

   $ python stock.py

1. Cloner le référentiel distant à l’aide de la commande suivante :

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Accédez au répertoire amazon-kinesis-data-analytics-java-examples/GettingStarted.

Pour compiler le code d’application

1. Pour utiliser le code de votre application, vous devez le compiler et le regrouper dans un JAR fichier. Vous pouvez compiler et intégrer votre code de deux manières :

   • À l’aide de l’outil de ligne de commande Maven. Créez votre JAR fichier en exécutant la commande suivante dans le répertoire qui contient le pom.xml fichier :

     mvn package -Dflink.version=1.13.2

   • À l’aide de votre environnement de développement. Consultez la documentation de votre environnement de développement pour plus de détails.

     Note

     Le code source fourni repose sur les bibliothèques de Java 11.

   Vous pouvez soit télécharger votre package sous forme de JAR fichier, soit compresser votre package et le télécharger sous forme de ZIP fichier. Si vous créez votre application à l'aide du AWS CLI, vous spécifiez le type de contenu de votre code (JARouZIP).

2. En cas d’erreur lors de la compilation, vérifiez que votre variable d’environnement JAVA_HOME est correctement définie.

Pour charger le code d’application

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez Créer un compartiment.

3. Saisissez ka-app-code-<username> dans le champ Nom du compartiment. Ajoutez un suffixe au nom du compartiment, par exemple votre nom d’utilisateur, pour qu’il soit unique. Choisissez Suivant.

4. À l’étape Configurer les options, conservez les paramètres, puis choisissez Suivant.

5. À l’étape Définir des autorisations, conservez les paramètres, puis choisissez Suivant.

6. Choisissez Créer un compartiment.

7. Dans la console Amazon S3, choisissez le ka-app-code -<username>bucket, puis choisissez Upload.

8. À l’étape Sélectionner les fichiers, choisissez Ajouter des fichiers. Accédez au fichier aws-kinesis-analytics-java-apps-1.0.jar que vous avez créé à l’étape précédente. Choisissez Suivant.

9. Vous n’avez pas besoin de modifier les paramètres de l’objet, donc choisissez Charger.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Dans le tableau de bord du service géré pour Apache Flink, choisissez Créer une application d’analyse.

3. Sur la page Service géré pour Apache Flink - Créer une application, fournissez les détails de l’application comme suit :

   • Pour Nom de l’application, saisissez MyApplication.

   • Pour Description, saisissez My java test app.

   • Pour Exécution, choisissez Apache Flink.

   • Laissez le menu déroulant de la version sur Apache Flink version 1.13 .

4. Pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

5. Choisissez Créer une application.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Choisissez Stratégies. Choisissez la politique kinesis-analytics-service-MyApplication-us-west-2 créée pour vous par la console dans la section précédente.

3. Sur la page Récapitulatif, choisissez Modifier la politique. Choisissez l'JSONonglet.

4. Ajoutez la section mise en surbrillance dans l’exemple de stratégie suivant à la politique. Remplacez le compte d'exemple IDs (012345678901) avec votre identifiant de compte.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Sur la MyApplicationpage, choisissez Configurer.

2. Sur la page Configurer l’application, indiquez l’emplacement du code:

   • Pour le compartiment Amazon S3, saisissez ka-app-code-<username>.

   • Pour le chemin de l'objet Amazon S3, saisissez aws-kinesis-analytics-java-apps-1.0.jar.

3. Sous Accès aux ressources de l'application, pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

4. Saisissez :

   ID du groupe	Clé	Valeur
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

5. Sous Surveillance, assurez-vous que Surveillance du niveau des métriques est défini sur Application.

6. Pour la CloudWatch journalisation, cochez la case Activer.

7. Choisissez Mettre à jour.

Pour créer un rôle IAM

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Dans le volet de navigation, choisissez Rôles, puis Créer un rôle.

3. Sous Sélectionner le type d'identité approuvée, choisissez Service AWS . Sous Choisir le service qui utilisera ce rôle, choisissez EC2. Sous Sélectionner votre cas d’utilisation, choisissez Kinesis Analytics.

   Sélectionnez Next: Permissions (Étape suivante : autorisations).

4. Dans la page Attacher des stratégies d’autorisations, choisissez Suivant : vérification. Vous attachez des stratégies d’autorisations après avoir créé le rôle.

5. Sur la page Créer un rôle, saisissez MF-stream-rw-role pour le Nom du rôle. Sélectionnez Créer un rôle.

   Vous avez maintenant créé un nouveau IAM rôle appeléMF-stream-rw-role. Ensuite, vous mettez à jour les stratégies d’approbation et d’autorisation pour le rôle.

6. Attachez la politique d’autorisation au rôle.

   Note

   Dans le cadre de cet exercice, le service géré pour Apache Flink assume ce rôle à la fois pour la lecture des données à partir d’un flux de données Kinesis (source) et pour l’écriture des résultats dans un autre flux de données Kinesis. Vous attachez donc la politique que vous avez créée à l’étape précédente, Créer une stratégie d’autorisations.

   1. Sur la page Récapitulatif, choisissez l’onglet Autorisations.

   2. Choisissez Attacher des stratégies.

   3. Dans la zone de recherche, saisissez AKReadSourceStreamWriteSinkStream (la politique que vous avez créée dans la section précédente).

   4. Choisissez la AKReadSourceStreamWriteSinkStreampolitique, puis choisissez Attacher la politique.

1. Enregistrez le JSON code suivant dans un fichier nommécreate_request.json. Remplacez le rôle ARN d'exemple par le rôle que vous avez créé précédemment. ARN Remplacez le ARN suffixe du bucket (username) par le suffixe que vous avez choisi dans la section précédente. Remplacez l’exemple d’ID de compte (012345678901) dans le rôle d’exécution de service par votre ID de compte.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_15",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Exécutez l’action CreateApplication avec la demande précédente pour créer l’application :

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Pour démarrer l’application

1. Enregistrez le JSON code suivant dans un fichier nomméstart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Exécutez l’action StartApplication avec la demande précédente pour démarrer l’application :

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Pour arrêter l’application

1. Enregistrez le JSON code suivant dans un fichier nomméstop_request.json.

   {
      "ApplicationName": "test"
   }
   

2. Exécutez l’action StopApplication avec la demande suivante pour arrêter l’application :

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Pour mettre à jour des propriétés d’environnement pour l’application

1. Enregistrez le JSON code suivant dans un fichier nomméupdate_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Exécutez l’action UpdateApplication avec la demande précédente pour mettre à jour les propriétés de l’environnement :

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Ouvrez la console Kinesis à l'adresse /kinesis. https://console.aws.amazon.com

2. Dans le panneau Managed Service for Apache Flink, choisissez MyApplication.

3. Sur la page de l’application, choisissez Supprimer, puis confirmez la suppression.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Dans le panneau Kinesis Data Streams, ExampleInputStreamsélectionnez.

3. Sur la ExampleInputStreampage, choisissez Supprimer Kinesis Stream, puis confirmez la suppression.

4. Sur la page Kinesis Streams, choisissez le ExampleOutputStream, choisissez Actions, choisissez Supprimer, puis confirmez la suppression.

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez le ka-app-code -<username> seau.

3. Choisissez Supprimer, puis saisissez le nombre du compartiment pour confirmer la suppression.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Dans la barre de navigation, choisissez Stratégies.

3. Dans le contrôle du filtre, saisissez kinesis.

4. Choisissez la politique kinesis-analytics-service- MyApplication -us-west-2.

5. Choisissez Actions de stratégie, puis Supprimer.

6. Dans la barre de navigation, choisissez Rôles.

7. Choisissez le rôle kinesis-analytics- MyApplication -us-west-2.

8. Choisissez Supprimer le rôle, puis confirmez la suppression.

1. Ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/.

2. Dans la barre de navigation, choisissez Journaux.

3. Choisissez le groupe/aws/kinesis-analytics/MyApplicationlog.

4. Choisissez Supprimer le groupe de journaux, puis confirmez la suppression.

Pour vous inscrire à un Compte AWS

1. Ouvrez l'https://portal.aws.amazon.com/billing/inscription.

2. Suivez les instructions en ligne.

   Dans le cadre de la procédure d‘inscription, vous recevrez un appel téléphonique et vous saisirez un code de vérification en utilisant le clavier numérique du téléphone.

   Lorsque vous vous inscrivez à un Compte AWS, un Utilisateur racine d'un compte AWSest créé. Par défaut, seul l‘utilisateur racine a accès à l‘ensemble des Services AWS et des ressources de ce compte. La meilleure pratique de sécurité consiste à attribuer un accès administratif à un utilisateur, et à utiliser uniquement l‘utilisateur racine pour effectuer les tâches nécessitant un accès utilisateur racine.

Sécurisez votre Utilisateur racine d'un compte AWS

1. Connectez-vous en AWS Management Consoletant que propriétaire du compte en choisissant Utilisateur root et en saisissant votre adresse Compte AWS e-mail. Sur la page suivante, saisissez votre mot de passe.

   Pour obtenir de l‘aide pour vous connecter en utilisant l‘utilisateur racine, consultez Connexion en tant qu‘utilisateur racine dans le Guide de l‘utilisateur Connexion à AWS .

2. Activez l'authentification multifactorielle (MFA) pour votre utilisateur root.

   Pour obtenir des instructions, voir Activer un MFA périphérique virtuel pour votre utilisateur Compte AWS root (console) dans le guide de IAM l'utilisateur.

Création d'un utilisateur doté d'un accès administratif

1. Activez IAM Identity Center.

   Pour obtenir des instructions, consultez Activation d’ AWS IAM Identity Center dans le Guide de l’utilisateur AWS IAM Identity Center .

2. Dans IAM Identity Center, accordez un accès administratif à un utilisateur.

   Pour un didacticiel sur l'utilisation du Répertoire IAM Identity Center comme source d'identité, voir Configurer l'accès utilisateur par défaut Répertoire IAM Identity Center dans le Guide de AWS IAM Identity Center l'utilisateur.

Connexion en tant qu‘utilisateur doté d'un accès administratif

• Pour vous connecter avec votre utilisateur IAM Identity Center, utilisez l'URLidentifiant envoyé à votre adresse e-mail lorsque vous avez créé l'utilisateur IAM Identity Center.

  Pour obtenir de l'aide pour vous connecter en utilisant un utilisateur d'IAMIdentity Center, consultez la section Connexion au portail AWS d'accès dans le guide de Connexion à AWS l'utilisateur.

Attribution d'un accès à d'autres utilisateurs

1. Dans IAM Identity Center, créez un ensemble d'autorisations conforme à la meilleure pratique consistant à appliquer les autorisations du moindre privilège.

   Pour obtenir des instructions, consultez Création d’un ensemble d’autorisations dans le Guide de l’utilisateur AWS IAM Identity Center .

2. Attribuez des utilisateurs à un groupe, puis attribuez un accès par authentification unique au groupe.

   Pour obtenir des instructions, consultez Ajout de groupes dans le Guide de l’utilisateur AWS IAM Identity Center .

Pour configurer le AWS CLI

1. Téléchargez et configurez l’interface AWS CLI. Pour obtenir des instructions, consultez les rubriques suivantes dans le Guide de l’utilisateur de l’interface AWS Command Line Interface  :

   • Installation de AWS Command Line Interface

   • Configuration de l’interface AWS CLI (français non garanti)

2. Ajoutez un profil nommé pour l'utilisateur administrateur dans le AWS CLI config fichier. Vous utiliserez ce profil lorsque vous exécuterez les commandes AWS CLI . Pour plus d'informations sur les profils nommés, consultez la rubrique Profils nommés dans le Guide de l'utilisateur AWS Command Line Interface .

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Pour obtenir la liste des AWS régions disponibles, consultez la section Régions et points de terminaison dans le Référence générale d'Amazon Web Services.

   Note

   Les exemples de code et de commandes présentés dans ce didacticiel utilisent la région USA Ouest (Oregon). Pour utiliser une autre région, remplacez la région dans le code et les commandes de ce didacticiel par la région que vous souhaitez utiliser.

3. Vérifiez la configuration en saisissant la commande d’aide suivante à l’invite de commande :

   aws help

Pour créer les flux de données (AWS CLI)

1. Pour créer le premier flux (ExampleInputStream), utilisez la commande Amazon Kinesis create-stream AWS CLI suivante.

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Pour créer le second flux utilisé par l’application pour écrire la sortie, exécutez la même commande en remplaçant le nom du flux par ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Créez un fichier nommé stock.py avec le contenu suivant :

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Plus loin dans ce didacticiel, vous exécutez le script stock.py pour envoyer des données à l’application.

   $ python stock.py

1. Cloner le référentiel distant à l’aide de la commande suivante :

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Accédez au répertoire amazon-kinesis-data-analytics-java-examples/GettingStarted.

Pour compiler le code d’application

1. Pour utiliser le code de votre application, vous devez le compiler et le regrouper dans un JAR fichier. Vous pouvez compiler et intégrer votre code de deux manières :

   • À l’aide de l’outil de ligne de commande Maven. Créez votre JAR fichier en exécutant la commande suivante dans le répertoire qui contient le pom.xml fichier :

     mvn package -Dflink.version=1.11.3

   • À l’aide de votre environnement de développement. Consultez la documentation de votre environnement de développement pour plus de détails.

     Note

     Le code source fourni repose sur les bibliothèques de Java 11. Assurez-vous que la version Java de votre projet est la version 11.

   Vous pouvez soit télécharger votre package sous forme de JAR fichier, soit compresser votre package et le télécharger sous forme de ZIP fichier. Si vous créez votre application à l'aide du AWS CLI, vous spécifiez le type de contenu de votre code (JARouZIP).

2. En cas d’erreur lors de la compilation, vérifiez que votre variable d’environnement JAVA_HOME est correctement définie.

Pour charger le code d’application

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez Créer un compartiment.

3. Saisissez ka-app-code-<username> dans le champ Nom du compartiment. Ajoutez un suffixe au nom du compartiment, par exemple votre nom d’utilisateur, pour qu’il soit unique. Choisissez Suivant.

4. À l’étape Configurer les options, conservez les paramètres, puis choisissez Suivant.

5. À l’étape Définir des autorisations, conservez les paramètres, puis choisissez Suivant.

6. Choisissez Créer un compartiment.

7. Dans la console Amazon S3, choisissez le ka-app-code -<username>bucket, puis choisissez Upload.

8. À l’étape Sélectionner les fichiers, choisissez Ajouter des fichiers. Accédez au fichier aws-kinesis-analytics-java-apps-1.0.jar que vous avez créé à l’étape précédente. Choisissez Suivant.

9. Vous n’avez pas besoin de modifier les paramètres de l’objet, donc choisissez Charger.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Dans le tableau de bord du service géré pour Apache Flink, choisissez Créer une application d’analyse.

3. Sur la page Service géré pour Apache Flink - Créer une application, fournissez les détails de l’application comme suit :

   • Pour Nom de l’application, saisissez MyApplication.

   • Pour Description, saisissez My java test app.

   • Pour Exécution, choisissez Apache Flink.

   • Laissez le menu déroulant de la version sur Apache Flink version 1.11 (version recommandée).

4. Pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

5. Choisissez Créer une application.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Choisissez Stratégies. Choisissez la politique kinesis-analytics-service-MyApplication-us-west-2 créée pour vous par la console dans la section précédente.

3. Sur la page Récapitulatif, choisissez Modifier la politique. Choisissez l'JSONonglet.

4. Ajoutez la section mise en surbrillance dans l’exemple de stratégie suivant à la politique. Remplacez le compte d'exemple IDs (012345678901) avec votre identifiant de compte.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Sur la MyApplicationpage, choisissez Configurer.

2. Sur la page Configurer l’application, indiquez l’emplacement du code:

   • Pour le compartiment Amazon S3, saisissez ka-app-code-<username>.

   • Pour le chemin de l'objet Amazon S3, saisissez aws-kinesis-analytics-java-apps-1.0.jar.

3. Sous Accès aux ressources de l'application, pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

4. Sous Propriétés, pour ID de groupe, saisissez ProducerConfigProperties.

5. Entrez les valeurs et propriétés d’application suivantes :

   ID du groupe	Clé	Valeur
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

6. Sous Surveillance, assurez-vous que Surveillance du niveau des métriques est défini sur Application.

7. Pour la CloudWatch journalisation, cochez la case Activer.

8. Choisissez Mettre à jour.

Pour créer un rôle IAM

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Dans le volet de navigation, choisissez Rôles, puis Créer un rôle.

3. Sous Sélectionner le type d'identité approuvée, choisissez Service AWS . Sous Choisir le service qui utilisera ce rôle, choisissez EC2. Sous Sélectionner votre cas d’utilisation, choisissez Kinesis Analytics.

   Sélectionnez Next: Permissions (Étape suivante : autorisations).

4. Dans la page Attacher des stratégies d’autorisations, choisissez Suivant : vérification. Vous attachez des stratégies d’autorisations après avoir créé le rôle.

5. Sur la page Créer un rôle, saisissez MF-stream-rw-role pour le Nom du rôle. Sélectionnez Créer un rôle.

   Vous avez maintenant créé un nouveau IAM rôle appeléMF-stream-rw-role. Ensuite, vous mettez à jour les stratégies d’approbation et d’autorisation pour le rôle.

6. Attachez la politique d’autorisation au rôle.

   Note

   Dans le cadre de cet exercice, le service géré pour Apache Flink assume ce rôle à la fois pour la lecture des données à partir d’un flux de données Kinesis (source) et pour l’écriture des résultats dans un autre flux de données Kinesis. Vous attachez donc la politique que vous avez créée à l’étape précédente, Créer une stratégie d’autorisations.

   1. Sur la page Récapitulatif, choisissez l’onglet Autorisations.

   2. Choisissez Attacher des stratégies.

   3. Dans la zone de recherche, saisissez AKReadSourceStreamWriteSinkStream (la politique que vous avez créée dans la section précédente).

   4. Choisissez la AKReadSourceStreamWriteSinkStreampolitique, puis choisissez Attacher la politique.

1. Enregistrez le JSON code suivant dans un fichier nommécreate_request.json. Remplacez le rôle ARN d'exemple par le rôle que vous avez créé précédemment. ARN Remplacez le ARN suffixe du bucket (username) par le suffixe que vous avez choisi dans la section précédente. Remplacez l’exemple d’ID de compte (012345678901) dans le rôle d’exécution de service par votre ID de compte.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_11",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Exécutez l’action CreateApplication avec la demande précédente pour créer l’application :

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Pour démarrer l’application

1. Enregistrez le JSON code suivant dans un fichier nomméstart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Exécutez l’action StartApplication avec la demande précédente pour démarrer l’application :

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Pour arrêter l’application

1. Enregistrez le JSON code suivant dans un fichier nomméstop_request.json.

   
   {
       "ApplicationName": "test"
   }
   

2. Exécutez l’action StopApplication avec la demande suivante pour arrêter l’application :

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Pour mettre à jour des propriétés d’environnement pour l’application

1. Enregistrez le JSON code suivant dans un fichier nomméupdate_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Exécutez l’action UpdateApplication avec la demande précédente pour mettre à jour les propriétés de l’environnement :

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Ouvrez la console Kinesis à l'adresse /kinesis. https://console.aws.amazon.com

2. Dans le panneau Managed Service for Apache Flink, choisissez MyApplication.

3. Sur la page de l’application, choisissez Supprimer, puis confirmez la suppression.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Dans le panneau Kinesis Data Streams, ExampleInputStreamsélectionnez.

3. Sur la ExampleInputStreampage, choisissez Supprimer Kinesis Stream, puis confirmez la suppression.

4. Sur la page Kinesis Streams, choisissez le ExampleOutputStream, choisissez Actions, choisissez Supprimer, puis confirmez la suppression.

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez le ka-app-code -<username> seau.

3. Choisissez Supprimer, puis saisissez le nombre du compartiment pour confirmer la suppression.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Dans la barre de navigation, choisissez Stratégies.

3. Dans le contrôle du filtre, saisissez kinesis.

4. Choisissez la politique kinesis-analytics-service- MyApplication -us-west-2.

5. Choisissez Actions de stratégie, puis Supprimer.

6. Dans la barre de navigation, choisissez Rôles.

7. Choisissez le rôle kinesis-analytics- MyApplication -us-west-2.

8. Choisissez Supprimer le rôle, puis confirmez la suppression.

1. Ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/.

2. Dans la barre de navigation, choisissez Journaux.

3. Choisissez le groupe/aws/kinesis-analytics/MyApplicationlog.

4. Choisissez Supprimer le groupe de journaux, puis confirmez la suppression.

Pour vous inscrire à un Compte AWS

1. Ouvrez l'https://portal.aws.amazon.com/billing/inscription.

2. Suivez les instructions en ligne.

   Dans le cadre de la procédure d‘inscription, vous recevrez un appel téléphonique et vous saisirez un code de vérification en utilisant le clavier numérique du téléphone.

   Lorsque vous vous inscrivez à un Compte AWS, un Utilisateur racine d'un compte AWSest créé. Par défaut, seul l‘utilisateur racine a accès à l‘ensemble des Services AWS et des ressources de ce compte. La meilleure pratique de sécurité consiste à attribuer un accès administratif à un utilisateur, et à utiliser uniquement l‘utilisateur racine pour effectuer les tâches nécessitant un accès utilisateur racine.

Sécurisez votre Utilisateur racine d'un compte AWS

1. Connectez-vous en AWS Management Consoletant que propriétaire du compte en choisissant Utilisateur root et en saisissant votre adresse Compte AWS e-mail. Sur la page suivante, saisissez votre mot de passe.

   Pour obtenir de l‘aide pour vous connecter en utilisant l‘utilisateur racine, consultez Connexion en tant qu‘utilisateur racine dans le Guide de l‘utilisateur Connexion à AWS .

2. Activez l'authentification multifactorielle (MFA) pour votre utilisateur root.

   Pour obtenir des instructions, voir Activer un MFA périphérique virtuel pour votre utilisateur Compte AWS root (console) dans le guide de IAM l'utilisateur.

Création d'un utilisateur doté d'un accès administratif

1. Activez IAM Identity Center.

   Pour obtenir des instructions, consultez Activation d’ AWS IAM Identity Center dans le Guide de l’utilisateur AWS IAM Identity Center .

2. Dans IAM Identity Center, accordez un accès administratif à un utilisateur.

   Pour un didacticiel sur l'utilisation du Répertoire IAM Identity Center comme source d'identité, voir Configurer l'accès utilisateur par défaut Répertoire IAM Identity Center dans le Guide de AWS IAM Identity Center l'utilisateur.

Connexion en tant qu‘utilisateur doté d'un accès administratif

• Pour vous connecter avec votre utilisateur IAM Identity Center, utilisez l'URLidentifiant envoyé à votre adresse e-mail lorsque vous avez créé l'utilisateur IAM Identity Center.

  Pour obtenir de l'aide pour vous connecter en utilisant un utilisateur d'IAMIdentity Center, consultez la section Connexion au portail AWS d'accès dans le guide de Connexion à AWS l'utilisateur.

Attribution d'un accès à d'autres utilisateurs

1. Dans IAM Identity Center, créez un ensemble d'autorisations conforme à la meilleure pratique consistant à appliquer les autorisations du moindre privilège.

   Pour obtenir des instructions, consultez Création d’un ensemble d’autorisations dans le Guide de l’utilisateur AWS IAM Identity Center .

2. Attribuez des utilisateurs à un groupe, puis attribuez un accès par authentification unique au groupe.

   Pour obtenir des instructions, consultez Ajout de groupes dans le Guide de l’utilisateur AWS IAM Identity Center .

Pour configurer le AWS CLI

1. Téléchargez et configurez l’interface AWS CLI. Pour obtenir des instructions, consultez les rubriques suivantes dans le Guide de l’utilisateur de l’interface AWS Command Line Interface  :

   • Installation de AWS Command Line Interface

   • Configuration de l’interface AWS CLI (français non garanti)

2. Ajoutez un profil nommé pour l'utilisateur administrateur dans le AWS CLI config fichier. Vous utiliserez ce profil lorsque vous exécuterez les commandes AWS CLI . Pour plus d'informations sur les profils nommés, consultez la rubrique Profils nommés dans le Guide de l'utilisateur AWS Command Line Interface .

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Pour obtenir la liste des régions disponibles, consultez Régions et points de terminaison dans la documentation Référence générale d'Amazon Web Services.

   Note

   Les exemples de code et de commandes présentés dans ce didacticiel utilisent la région USA Ouest (Oregon). Pour utiliser une autre AWS région, remplacez la région dans le code et les commandes de ce didacticiel par la région que vous souhaitez utiliser.

3. Vérifiez la configuration en saisissant la commande d’aide suivante à l’invite de commande :

   aws help

Pour créer les flux de données (AWS CLI)

1. Pour créer le premier flux (ExampleInputStream), utilisez la commande Amazon Kinesis create-stream AWS CLI suivante.

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Pour créer le second flux utilisé par l’application pour écrire la sortie, exécutez la même commande en remplaçant le nom du flux par ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Créez un fichier nommé stock.py avec le contenu suivant :

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Plus loin dans ce didacticiel, vous exécutez le script stock.py pour envoyer des données à l’application.

   $ python stock.py

1. Cloner le référentiel distant à l’aide de la commande suivante :

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Accédez au répertoire amazon-kinesis-data-analytics-java-examples/GettingStarted_1_8.

Pour compiler le code d’application

1. Pour utiliser le code de votre application, vous devez le compiler et le regrouper dans un JAR fichier. Vous pouvez compiler et intégrer votre code de deux manières :

   • À l’aide de l’outil de ligne de commande Maven. Créez votre JAR fichier en exécutant la commande suivante dans le répertoire qui contient le pom.xml fichier :

     mvn package -Dflink.version=1.8.2

   • À l’aide de votre environnement de développement. Consultez la documentation de votre environnement de développement pour plus de détails.

     Note

     Le code source fourni repose sur les bibliothèques de Java 1.8. Assurez-vous que la version Java de votre projet est la version 1.8.

   Vous pouvez soit télécharger votre package sous forme de JAR fichier, soit compresser votre package et le télécharger sous forme de ZIP fichier. Si vous créez votre application à l'aide du AWS CLI, vous spécifiez le type de contenu de votre code (JARouZIP).

2. En cas d’erreur lors de la compilation, vérifiez que votre variable d’environnement JAVA_HOME est correctement définie.

Pour charger le code d’application

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez Créer un compartiment.

3. Saisissez ka-app-code-<username> dans le champ Nom du compartiment. Ajoutez un suffixe au nom du compartiment, par exemple votre nom d’utilisateur, pour qu’il soit unique. Choisissez Suivant.

4. À l’étape Configurer les options, conservez les paramètres, puis choisissez Suivant.

5. À l’étape Définir des autorisations, conservez les paramètres, puis choisissez Suivant.

6. Choisissez Créer un compartiment.

7. Dans la console Amazon S3, choisissez le ka-app-code -<username>bucket, puis choisissez Upload.

8. À l’étape Sélectionner les fichiers, choisissez Ajouter des fichiers. Accédez au fichier aws-kinesis-analytics-java-apps-1.0.jar que vous avez créé à l’étape précédente. Choisissez Suivant.

9. Vous n’avez pas besoin de modifier les paramètres de l’objet, donc choisissez Charger.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Dans le tableau de bord du service géré pour Apache Flink, choisissez Créer une application d’analyse.

3. Sur la page Service géré pour Apache Flink - Créer une application, fournissez les détails de l’application comme suit :

   • Pour Nom de l’application, saisissez MyApplication.

   • Pour Description, saisissez My java test app.

   • Pour Exécution, choisissez Apache Flink.

   • Laissez le menu déroulant de la version sur Apache Flink version 1.8 (version recommandée).

4. Pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

5. Choisissez Créer une application.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Choisissez Stratégies. Choisissez la politique kinesis-analytics-service-MyApplication-us-west-2 créée pour vous par la console dans la section précédente.

3. Sur la page Récapitulatif, choisissez Modifier la politique. Choisissez l'JSONonglet.

4. Ajoutez la section mise en surbrillance dans l’exemple de stratégie suivant à la politique. Remplacez le compte d'exemple IDs (012345678901) avec votre identifiant de compte.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Sur la MyApplicationpage, choisissez Configurer.

2. Sur la page Configurer l’application, indiquez l’emplacement du code:

   • Pour le compartiment Amazon S3, saisissez ka-app-code-<username>.

   • Pour le chemin de l'objet Amazon S3, saisissez aws-kinesis-analytics-java-apps-1.0.jar.

3. Sous Accès aux ressources de l'application, pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

4. Entrez les valeurs et propriétés d’application suivantes :

   ID du groupe	Clé	Valeur
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

5. Sous Surveillance, assurez-vous que Surveillance du niveau des métriques est défini sur Application.

6. Pour la CloudWatch journalisation, cochez la case Activer.

7. Choisissez Mettre à jour.

1. Sur la MyApplicationpage, choisissez Exécuter. Confirmez l’action.

2. Lorsque l’application est en cours d’exécution, actualisez la page. La console affiche le graphique de l’application.

Pour créer un rôle IAM

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Dans le volet de navigation, choisissez Rôles, puis Créer un rôle.

3. Sous Sélectionner le type d'identité approuvée, choisissez Service AWS . Sous Choisir le service qui utilisera ce rôle, choisissez EC2. Sous Sélectionner votre cas d’utilisation, choisissez Kinesis Analytics.

   Sélectionnez Next: Permissions (Étape suivante : autorisations).

4. Dans la page Attacher des stratégies d’autorisations, choisissez Suivant : vérification. Vous attachez des stratégies d’autorisations après avoir créé le rôle.

5. Sur la page Créer un rôle, saisissez MF-stream-rw-role pour le Nom du rôle. Sélectionnez Créer un rôle.

   Vous avez maintenant créé un nouveau IAM rôle appeléMF-stream-rw-role. Ensuite, vous mettez à jour les stratégies d’approbation et d’autorisation pour le rôle.

6. Attachez la politique d’autorisation au rôle.

   Note

   Dans le cadre de cet exercice, le service géré pour Apache Flink assume ce rôle à la fois pour la lecture des données à partir d’un flux de données Kinesis (source) et pour l’écriture des résultats dans un autre flux de données Kinesis. Vous attachez donc la politique que vous avez créée à l’étape précédente, Créer une stratégie d’autorisations.

   1. Sur la page Récapitulatif, choisissez l’onglet Autorisations.

   2. Choisissez Attacher des stratégies.

   3. Dans la zone de recherche, saisissez AKReadSourceStreamWriteSinkStream (la politique que vous avez créée dans la section précédente).

   4. Choisissez la AKReadSourceStreamWriteSinkStreampolitique, puis choisissez Attacher la politique.

1. Enregistrez le JSON code suivant dans un fichier nommécreate_request.json. Remplacez le rôle ARN d'exemple par le rôle que vous avez créé précédemment. ARN Remplacez le ARN suffixe du bucket (username) par le suffixe que vous avez choisi dans la section précédente. Remplacez l’exemple d’ID de compte (012345678901) dans le rôle d’exécution de service par votre ID de compte.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_8",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Exécutez l’action CreateApplication avec la demande précédente pour créer l’application :

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Pour démarrer l’application

1. Enregistrez le JSON code suivant dans un fichier nomméstart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Exécutez l’action StartApplication avec la demande précédente pour démarrer l’application :

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Pour arrêter l’application

1. Enregistrez le JSON code suivant dans un fichier nomméstop_request.json.

   
   {
      "ApplicationName": "test"
   }
   

2. Exécutez l’action StopApplication avec la demande suivante pour arrêter l’application :

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Pour mettre à jour des propriétés d’environnement pour l’application

1. Enregistrez le JSON code suivant dans un fichier nomméupdate_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Exécutez l’action UpdateApplication avec la demande précédente pour mettre à jour les propriétés de l’environnement :

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Ouvrez la console Kinesis à l'adresse /kinesis. https://console.aws.amazon.com

2. Dans le panneau Managed Service for Apache Flink, choisissez MyApplication.

3. Choisissez Configurer.

4. Dans la section Instantanés, choisissez Désactiver, puis sélectionnez Mettre à jour.

5. Sur la page de l’application, choisissez Supprimer, puis confirmez la suppression.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Dans le panneau Kinesis Data Streams, ExampleInputStreamsélectionnez.

3. Sur la ExampleInputStreampage, choisissez Supprimer Kinesis Stream, puis confirmez la suppression.

4. Sur la page Kinesis Streams, choisissez le ExampleOutputStream, choisissez Actions, choisissez Supprimer, puis confirmez la suppression.

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez le ka-app-code -<username> seau.

3. Choisissez Supprimer, puis saisissez le nombre du compartiment pour confirmer la suppression.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Dans la barre de navigation, choisissez Stratégies.

3. Dans le contrôle du filtre, saisissez kinesis.

4. Choisissez la politique kinesis-analytics-service- MyApplication -us-west-2.

5. Choisissez Actions de stratégie, puis Supprimer.

6. Dans la barre de navigation, choisissez Rôles.

7. Choisissez le rôle kinesis-analytics- MyApplication -us-west-2.

8. Choisissez Supprimer le rôle, puis confirmez la suppression.

1. Ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/.

2. Dans la barre de navigation, choisissez Journaux.

3. Choisissez le groupe/aws/kinesis-analytics/MyApplicationlog.

4. Choisissez Supprimer le groupe de journaux, puis confirmez la suppression.

Pour vous inscrire à un Compte AWS

1. Ouvrez l'https://portal.aws.amazon.com/billing/inscription.

2. Suivez les instructions en ligne.

   Dans le cadre de la procédure d‘inscription, vous recevrez un appel téléphonique et vous saisirez un code de vérification en utilisant le clavier numérique du téléphone.

   Lorsque vous vous inscrivez à un Compte AWS, un Utilisateur racine d'un compte AWSest créé. Par défaut, seul l‘utilisateur racine a accès à l‘ensemble des Services AWS et des ressources de ce compte. La meilleure pratique de sécurité consiste à attribuer un accès administratif à un utilisateur, et à utiliser uniquement l‘utilisateur racine pour effectuer les tâches nécessitant un accès utilisateur racine.

Sécurisez votre Utilisateur racine d'un compte AWS

1. Connectez-vous en AWS Management Consoletant que propriétaire du compte en choisissant Utilisateur root et en saisissant votre adresse Compte AWS e-mail. Sur la page suivante, saisissez votre mot de passe.

   Pour obtenir de l‘aide pour vous connecter en utilisant l‘utilisateur racine, consultez Connexion en tant qu‘utilisateur racine dans le Guide de l‘utilisateur Connexion à AWS .

2. Activez l'authentification multifactorielle (MFA) pour votre utilisateur root.

   Pour obtenir des instructions, voir Activer un MFA périphérique virtuel pour votre utilisateur Compte AWS root (console) dans le guide de IAM l'utilisateur.

Création d'un utilisateur doté d'un accès administratif

1. Activez IAM Identity Center.

   Pour obtenir des instructions, consultez Activation d’ AWS IAM Identity Center dans le Guide de l’utilisateur AWS IAM Identity Center .

2. Dans IAM Identity Center, accordez un accès administratif à un utilisateur.

   Pour un didacticiel sur l'utilisation du Répertoire IAM Identity Center comme source d'identité, voir Configurer l'accès utilisateur par défaut Répertoire IAM Identity Center dans le Guide de AWS IAM Identity Center l'utilisateur.

Connexion en tant qu‘utilisateur doté d'un accès administratif

• Pour vous connecter avec votre utilisateur IAM Identity Center, utilisez l'URLidentifiant envoyé à votre adresse e-mail lorsque vous avez créé l'utilisateur IAM Identity Center.

  Pour obtenir de l'aide pour vous connecter en utilisant un utilisateur d'IAMIdentity Center, consultez la section Connexion au portail AWS d'accès dans le guide de Connexion à AWS l'utilisateur.

Attribution d'un accès à d'autres utilisateurs

1. Dans IAM Identity Center, créez un ensemble d'autorisations conforme à la meilleure pratique consistant à appliquer les autorisations du moindre privilège.

   Pour obtenir des instructions, consultez Création d’un ensemble d’autorisations dans le Guide de l’utilisateur AWS IAM Identity Center .

2. Attribuez des utilisateurs à un groupe, puis attribuez un accès par authentification unique au groupe.

   Pour obtenir des instructions, consultez Ajout de groupes dans le Guide de l’utilisateur AWS IAM Identity Center .

Pour configurer le AWS CLI

1. Téléchargez et configurez l’interface AWS CLI. Pour obtenir des instructions, consultez les rubriques suivantes dans le Guide de l’utilisateur de l’interface AWS Command Line Interface  :

   • Installation de AWS Command Line Interface

   • Configuration de l’interface AWS CLI (français non garanti)

2. Ajoutez un profil nommé pour l'utilisateur administrateur dans le AWS CLI config fichier. Vous utiliserez ce profil lorsque vous exécuterez les commandes AWS CLI . Pour plus d'informations sur les profils nommés, consultez la rubrique Profils nommés dans le Guide de l'utilisateur AWS Command Line Interface .

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Pour obtenir la liste des AWS régions disponibles, consultez la section Régions et points de terminaison dans le Référence générale d'Amazon Web Services.

   Note

   Les exemples de code et de commandes présentés dans ce didacticiel utilisent la région USA Ouest (Oregon). Pour utiliser une autre région, remplacez la région dans le code et les commandes de ce didacticiel par la région que vous souhaitez utiliser.

3. Vérifiez la configuration en saisissant la commande d’aide suivante à l’invite de commande :

   aws help

Pour créer les flux de données (AWS CLI)

1. Pour créer le premier flux (ExampleInputStream), utilisez la commande Amazon Kinesis create-stream AWS CLI suivante.

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Pour créer le second flux utilisé par l’application pour écrire la sortie, exécutez la même commande en remplaçant le nom du flux par ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Créez un fichier nommé stock.py avec le contenu suivant :

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Plus loin dans ce didacticiel, vous exécutez le script stock.py pour envoyer des données à l’application.

   $ python stock.py

1. Cloner le référentiel distant à l’aide de la commande suivante :

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Accédez au répertoire amazon-kinesis-data-analytics-java-examples/GettingStarted_1_6.

Pour compiler le code d’application

1. Pour utiliser le code de votre application, vous devez le compiler et le regrouper dans un JAR fichier. Vous pouvez compiler et intégrer votre code de deux manières :

   • À l’aide de l’outil de ligne de commande Maven. Créez votre JAR fichier en exécutant la commande suivante dans le répertoire qui contient le pom.xml fichier :

     mvn package

     Note

     Le paramètre -DFLink.version n’est pas obligatoire pour l’environnement d’exécution du service géré pour Apache Flink version 1.0.1 ; il n’est requis que pour les versions 1.1.0 et ultérieures. Pour plus d’informations, consultez Spécifiez la version d'Apache Flink de votre application.

   • À l’aide de votre environnement de développement. Consultez la documentation de votre environnement de développement pour plus de détails.

   Vous pouvez soit télécharger votre package sous forme de JAR fichier, soit compresser votre package et le télécharger sous forme de ZIP fichier. Si vous créez votre application à l'aide du AWS CLI, vous spécifiez le type de contenu de votre code (JARouZIP).

2. En cas d’erreur lors de la compilation, vérifiez que votre variable d’environnement JAVA_HOME est correctement définie.

Pour charger le code d’application

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez Créer un compartiment.

3. Saisissez ka-app-code-<username> dans le champ Nom du compartiment. Ajoutez un suffixe au nom du compartiment, par exemple votre nom d’utilisateur, pour qu’il soit unique. Choisissez Suivant.

4. À l’étape Configurer les options, conservez les paramètres, puis choisissez Suivant.

5. À l’étape Définir des autorisations, conservez les paramètres, puis choisissez Suivant.

6. Choisissez Créer un compartiment.

7. Dans la console Amazon S3, choisissez le ka-app-code -<username>bucket, puis choisissez Upload.

8. À l’étape Sélectionner les fichiers, choisissez Ajouter des fichiers. Accédez au fichier aws-kinesis-analytics-java-apps-1.0.jar que vous avez créé à l’étape précédente. Choisissez Suivant.

9. À l'étape Définir des autorisations, conservez les paramètres. Choisissez Suivant.

10. À l'étape Définir les propriétés, conservez les paramètres. Sélectionnez Charger.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Dans le tableau de bord du service géré pour Apache Flink, choisissez Créer une application d’analyse.

3. Sur la page Service géré pour Apache Flink - Créer une application, fournissez les détails de l’application comme suit :

   • Pour Nom de l’application, saisissez MyApplication.

   • Pour Description, saisissez My java test app.

   • Pour Exécution, choisissez Apache Flink.

     Note

     Le service géré pour Apache Flink utilise Apache Flink version 1.8.2 ou 1.6.2.

   • Modifiez le menu déroulant de la version sur Apache Flink 1.6.

4. Pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

5. Choisissez Créer une application.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Choisissez Stratégies. Choisissez la politique kinesis-analytics-service-MyApplication-us-west-2 créée pour vous par la console dans la section précédente.

3. Sur la page Récapitulatif, choisissez Modifier la politique. Choisissez l'JSONonglet.

4. Ajoutez la section mise en surbrillance dans l’exemple de stratégie suivant à la politique. Remplacez le compte d'exemple IDs (012345678901) avec votre identifiant de compte.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/java-getting-started-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Sur la MyApplicationpage, choisissez Configurer.

2. Sur la page Configurer l’application, indiquez l’emplacement du code:

   • Pour le compartiment Amazon S3, saisissez ka-app-code-<username>.

   • Pour le chemin de l'objet Amazon S3, saisissez java-getting-started-1.0.jar.

3. Sous Accès aux ressources de l'application, pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

4. Entrez les valeurs et propriétés d’application suivantes :

   ID du groupe	Clé	Valeur
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

5. Sous Surveillance, assurez-vous que Surveillance du niveau des métriques est défini sur Application.

6. Pour la CloudWatch journalisation, cochez la case Activer.

7. Choisissez Mettre à jour.

1. Sur la MyApplicationpage, choisissez Exécuter. Confirmez l’action.

2. Lorsque l’application est en cours d’exécution, actualisez la page. La console affiche le graphique de l’application.

Pour créer un rôle IAM

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Dans le volet de navigation, choisissez Rôles, puis Créer un rôle.

3. Sous Sélectionner le type d'identité approuvée, choisissez Service AWS . Sous Choisir le service qui utilisera ce rôle, choisissez EC2. Sous Sélectionner votre cas d’utilisation, choisissez Kinesis Analytics.

   Sélectionnez Next: Permissions (Étape suivante : autorisations).

4. Dans la page Attacher des stratégies d’autorisations, choisissez Suivant : vérification. Vous attachez des stratégies d’autorisations après avoir créé le rôle.

5. Sur la page Créer un rôle, saisissez MF-stream-rw-role pour le Nom du rôle. Sélectionnez Créer un rôle.

   Vous avez maintenant créé un nouveau IAM rôle appeléMF-stream-rw-role. Ensuite, vous mettez à jour les stratégies d’approbation et d’autorisation pour le rôle.

6. Attachez la politique d’autorisation au rôle.

   Note

   Dans le cadre de cet exercice, le service géré pour Apache Flink assume ce rôle à la fois pour la lecture des données à partir d’un flux de données Kinesis (source) et pour l’écriture des résultats dans un autre flux de données Kinesis. Vous attachez donc la politique que vous avez créée à l’étape précédente, Créer une stratégie d’autorisations.

   1. Sur la page Récapitulatif, choisissez l’onglet Autorisations.

   2. Choisissez Attacher des stratégies.

   3. Dans la zone de recherche, saisissez AKReadSourceStreamWriteSinkStream (la politique que vous avez créée dans la section précédente).

   4. Choisissez la AKReadSourceStreamWriteSinkStreampolitique, puis choisissez Attacher la politique.

1. Enregistrez le JSON code suivant dans un fichier nommécreate_request.json. Remplacez le rôle ARN d'exemple par le rôle que vous avez créé précédemment. ARN Remplacez le ARN suffixe du bucket (username) par le suffixe que vous avez choisi dans la section précédente. Remplacez l’exemple d’ID de compte (012345678901) dans le rôle d’exécution de service par votre ID de compte.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_6",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "java-getting-started-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Exécutez l’action CreateApplication avec la demande précédente pour créer l’application :

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Pour démarrer l’application

1. Enregistrez le JSON code suivant dans un fichier nomméstart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Exécutez l’action StartApplication avec la demande précédente pour démarrer l’application :

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Pour arrêter l’application

1. Enregistrez le JSON code suivant dans un fichier nomméstop_request.json.

   {
      "ApplicationName": "test"
   }
   

2. Exécutez l’action StopApplication avec la demande suivante pour arrêter l’application :

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Pour mettre à jour des propriétés d’environnement pour l’application

1. Enregistrez le JSON code suivant dans un fichier nomméupdate_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Exécutez l’action UpdateApplication avec la demande précédente pour mettre à jour les propriétés de l’environnement :

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Ouvrez la console Kinesis à l'adresse /kinesis. https://console.aws.amazon.com

2. Dans le panneau Managed Service for Apache Flink, choisissez MyApplication.

3. Choisissez Configurer.

4. Dans la section Instantanés, choisissez Désactiver, puis sélectionnez Mettre à jour.

5. Sur la page de l’application, choisissez Supprimer, puis confirmez la suppression.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Dans le panneau Kinesis Data Streams, ExampleInputStreamsélectionnez.

3. Sur la ExampleInputStreampage, choisissez Supprimer Kinesis Stream, puis confirmez la suppression.

4. Sur la page Kinesis Streams, choisissez le ExampleOutputStream, choisissez Actions, choisissez Supprimer, puis confirmez la suppression.

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez le ka-app-code -<username> seau.

3. Choisissez Supprimer, puis saisissez le nombre du compartiment pour confirmer la suppression.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Dans la barre de navigation, choisissez Stratégies.

3. Dans le contrôle du filtre, saisissez kinesis.

4. Choisissez la politique kinesis-analytics-service- MyApplication -us-west-2.

5. Choisissez Actions de stratégie, puis Supprimer.

6. Dans la barre de navigation, choisissez Rôles.

7. Choisissez le rôle kinesis-analytics- MyApplication -us-west-2.

8. Choisissez Supprimer le rôle, puis confirmez la suppression.

1. Ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/.

2. Dans la barre de navigation, choisissez Journaux.

3. Choisissez le groupe/aws/kinesis-analytics/MyApplicationlog.

4. Choisissez Supprimer le groupe de journaux, puis confirmez la suppression.

1. Créez un fichier nommé stock.py avec le contenu suivant :

   
       import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Exécutez le script stock.py :

   $ python stock.py

   Maintenez le script en cours d’exécution pendant que vous terminez le reste du didacticiel.

1. Installez le client Git si vous ne l’avez pas déjà fait. Pour plus d’informations, consultez Installation de Git.

2. Cloner le référentiel distant à l’aide de la commande suivante :

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Accédez au répertoire amazon-kinesis-data-analytics-java-examples/TumblingWindow.

1. Installez Java et Maven si ce n’est pas déjà fait. Pour plus d’informations, consultez Remplissez les prérequis requis dans le didacticiel Tutoriel : Commencez à utiliser le DataStream API service géré pour Apache Flink.

2. Compilez l’application à l’aide de la commande suivante :

   mvn package -Dflink.version=1.15.3

   Note

   Le code source fourni repose sur les bibliothèques de Java 11.

1. Dans la console Amazon S3, choisissez le ka-app-code -<username>bucket, puis choisissez Upload.

2. À l’étape Sélectionner les fichiers, choisissez Ajouter des fichiers. Accédez au fichier aws-kinesis-analytics-java-apps-1.0.jar que vous avez créé à l’étape précédente.

3. Vous n’avez pas besoin de modifier les paramètres de l’objet, donc choisissez Charger.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Dans le tableau de bord du service géré pour Apache Flink, choisissez Créer une application d’analyse.

3. Sur la page Service géré pour Apache Flink - Créer une application, fournissez les détails de l’application comme suit :

   • Pour Nom de l’application, saisissez MyApplication.

   • Pour Exécution, choisissez Apache Flink.

     Note

     Le service géré pour Apache Flink utilise Apache Flink version 1.15.2.

   • Laissez le menu déroulant de la version sur Apache Flink version 1.15.2 (version recommandée).

4. Pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

5. Choisissez Créer une application.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Choisissez Stratégies. Choisissez la politique kinesis-analytics-service-MyApplication-us-west-2 créée pour vous par la console dans la section précédente.

3. Sur la page Récapitulatif, choisissez Modifier la politique. Choisissez l'JSONonglet.

4. Ajoutez la section mise en surbrillance dans l’exemple de stratégie suivant à la politique. Remplacez le compte d'exemple IDs (012345678901) avec votre identifiant de compte.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "logs:DescribeLogGroups",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*",
                   "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": "logs:DescribeLogStreams",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": "logs:PutLogEvents",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Sur la MyApplicationpage, choisissez Configurer.

2. Sur la page Configurer l’application, indiquez l’emplacement du code:

   • Pour le compartiment Amazon S3, saisissez ka-app-code-<username>.

   • Pour le chemin de l'objet Amazon S3, saisissez aws-kinesis-analytics-java-apps-1.0.jar.

3. Sous Accès aux ressources de l'application, pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

4. Sous Surveillance, assurez-vous que Surveillance du niveau des métriques est défini sur Application.

5. Pour la CloudWatch journalisation, cochez la case Activer.

6. Choisissez Mettre à jour.

1. Sur la MyApplicationpage, choisissez Exécuter. Laissez l’option Exécuter sans instantané sélectionnée et confirmez l’action.

2. Lorsque l’application est en cours d’exécution, actualisez la page. La console affiche le graphique de l’application.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. dans le panneau Managed Service for Apache Flink, sélectionnez MyApplication.

3. Sur la page de l’application, choisissez Supprimer, puis confirmez la suppression.

1. Ouvrez la console Kinesis à l'adresse /kinesis. https://console.aws.amazon.com

2. Dans le panneau Kinesis Data Streams, ExampleInputStreamsélectionnez.

3. Sur la ExampleInputStreampage, choisissez Supprimer Kinesis Stream, puis confirmez la suppression.

4. Sur la page Kinesis Streams, choisissez le ExampleOutputStream, choisissez Actions, choisissez Supprimer, puis confirmez la suppression.

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez le ka-app-code -<username> seau.

3. Choisissez Supprimer, puis saisissez le nombre du compartiment pour confirmer la suppression.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Dans la barre de navigation, choisissez Stratégies.

3. Dans le contrôle du filtre, saisissez kinesis.

4. Choisissez la politique kinesis-analytics-service- MyApplication -us-west-2.

5. Choisissez Actions de stratégie, puis Supprimer.

6. Dans la barre de navigation, choisissez Rôles.

7. Choisissez le rôle kinesis-analytics- MyApplication -us-west-2.

8. Choisissez Supprimer le rôle, puis confirmez la suppression.

1. Ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/.

2. Dans la barre de navigation, choisissez Journaux.

3. Choisissez le groupe/aws/kinesis-analytics/MyApplicationlog.

4. Choisissez Supprimer le groupe de journaux, puis confirmez la suppression.

1. Créez un fichier nommé stock.py avec le contenu suivant :

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Exécutez le script stock.py :

   $ python stock.py

   Maintenez le script en cours d’exécution pendant que vous terminez le reste du didacticiel.

1. Installez le client Git si vous ne l’avez pas déjà fait. Pour plus d’informations, consultez Installation de Git.

2. Cloner le référentiel distant à l’aide de la commande suivante :

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Accédez au répertoire amazon-kinesis-data-analytics-java-examples/SlidingWindow.

1. Installez Java et Maven si ce n’est pas déjà fait. Pour plus d’informations, consultez Remplissez les prérequis requis dans le didacticiel Tutoriel : Commencez à utiliser le DataStream API service géré pour Apache Flink.

2. Compilez l’application à l’aide de la commande suivante :

   mvn package -Dflink.version=1.15.3

   Note

   Le code source fourni repose sur les bibliothèques de Java 11.

1. Dans la console Amazon S3, choisissez le ka-app-code -<username>bucket, puis choisissez Upload.

2. À l’étape Sélectionner les fichiers, choisissez Ajouter des fichiers. Accédez au fichier aws-kinesis-analytics-java-apps-1.0.jar que vous avez créé à l’étape précédente.

3. Vous n’avez pas besoin de modifier les paramètres de l’objet, donc choisissez Charger.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Dans le tableau de bord du service géré pour Apache Flink, choisissez Créer une application d’analyse.

3. Sur la page Service géré pour Apache Flink - Créer une application, fournissez les détails de l’application comme suit :

   • Pour Nom de l’application, saisissez MyApplication.

   • Pour Exécution, choisissez Apache Flink.

   • Laissez le menu déroulant de la version sur Apache Flink version 1.15.2 (version recommandée).

4. Pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

5. Choisissez Créer une application.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Choisissez Stratégies. Choisissez la politique kinesis-analytics-service-MyApplication-us-west-2 créée pour vous par la console dans la section précédente.

3. Sur la page Récapitulatif, choisissez Modifier la politique. Choisissez l'JSONonglet.

4. Ajoutez la section mise en surbrillance dans l’exemple de stratégie suivant à la politique. Remplacez le compte d'exemple IDs (012345678901) avec votre identifiant de compte.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "logs:DescribeLogGroups",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*",
                   "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": "logs:DescribeLogStreams",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": "logs:PutLogEvents",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Sur la MyApplicationpage, choisissez Configurer.

2. Sur la page Configurer l’application, indiquez l’emplacement du code:

   • Pour le compartiment Amazon S3, saisissez ka-app-code-<username>.

   • Pour le chemin de l'objet Amazon S3, saisissez aws-kinesis-analytics-java-apps-1.0.jar.

3. Sous Accès aux ressources de l'application, pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

4. Sous Surveillance, assurez-vous que Surveillance du niveau des métriques est défini sur Application.

5. Pour la CloudWatch journalisation, cochez la case Activer.

6. Choisissez Mettre à jour.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Dans le panneau Managed Service for Apache Flink, choisissez MyApplication.

3. Sur la page de l’application, choisissez Supprimer, puis confirmez la suppression.

1. Ouvrez la console Kinesis à l'adresse /kinesis. https://console.aws.amazon.com

2. Dans le panneau Kinesis Data Streams, ExampleInputStreamsélectionnez.

3. Sur la ExampleInputStreampage, choisissez Supprimer Kinesis Stream, puis confirmez la suppression.

4. Sur la page Kinesis Streams, choisissez le ExampleOutputStream, choisissez Actions, choisissez Supprimer, puis confirmez la suppression.

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez le ka-app-code -<username> seau.

3. Choisissez Supprimer, puis saisissez le nombre du compartiment pour confirmer la suppression.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Dans la barre de navigation, choisissez Stratégies.

3. Dans le contrôle du filtre, saisissez kinesis.

4. Choisissez la politique kinesis-analytics-service- MyApplication -us-west-2.

5. Choisissez Actions de stratégie, puis Supprimer.

6. Dans la barre de navigation, choisissez Rôles.

7. Choisissez le rôle kinesis-analytics- MyApplication -us-west-2.

8. Choisissez Supprimer le rôle, puis confirmez la suppression.

1. Ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/.

2. Dans la barre de navigation, choisissez Journaux.

3. Choisissez le groupe/aws/kinesis-analytics/MyApplicationlog.

4. Choisissez Supprimer le groupe de journaux, puis confirmez la suppression.

1. Créez un fichier nommé stock.py avec le contenu suivant :

   
       import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Exécutez le script stock.py :

   $ python stock.py

   Maintenez le script en cours d’exécution pendant que vous terminez le reste du didacticiel.

1. Installez le client Git si vous ne l’avez pas déjà fait. Pour plus d’informations, consultez Installation de Git.

2. Cloner le référentiel distant à l’aide de la commande suivante :

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Accédez au répertoire amazon-kinesis-data-analytics-java-examples/S3Sink.

1. Installez Java et Maven si ce n’est pas déjà fait. Pour plus d’informations, consultez Remplissez les prérequis requis dans le didacticiel Tutoriel : Commencez à utiliser le DataStream API service géré pour Apache Flink.

2. Compilez l’application à l’aide de la commande suivante :

   mvn package -Dflink.version=1.15.3

1. Dans la console Amazon S3, choisissez le ka-app-code -<username>bucket, accédez au dossier de code, puis choisissez Upload.

2. À l’étape Sélectionner les fichiers, choisissez Ajouter des fichiers. Accédez au fichier aws-kinesis-analytics-java-apps-1.0.jar que vous avez créé à l’étape précédente.

3. Vous n’avez pas besoin de modifier les paramètres de l’objet, donc choisissez Charger.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Dans le tableau de bord du service géré pour Apache Flink, choisissez Créer une application d’analyse.

3. Sur la page Service géré pour Apache Flink - Créer une application, fournissez les détails de l’application comme suit :

   • Pour Nom de l’application, saisissez MyApplication.

   • Pour Exécution, choisissez Apache Flink.

   • Laissez le menu déroulant de la version sur Apache Flink version 1.15.2 (version recommandée).

4. Pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

5. Choisissez Créer une application.

   Note

   Lorsque vous créez un service géré pour une application Apache Flink à l'aide de la console, vous avez la possibilité de créer un IAM rôle et une politique pour votre application. Votre application utilise ce rôle et cette politique pour accéder à ses ressources dépendantes. Ces IAM ressources sont nommées à l'aide du nom de votre application et de votre région, comme suit :

   • Pour Nom de l’application, saisissez MyApplication.

   • Pour Exécution, choisissez Apache Flink.

   • Laissez la version sur Apache Flink 1.15.2 (version recommandée).

6. Pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

7. Choisissez Créer une application.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Choisissez Stratégies. Choisissez la politique kinesis-analytics-service-MyApplication-us-west-2 créée pour vous par la console dans la section précédente.

3. Sur la page Récapitulatif, choisissez Modifier la politique. Choisissez l'JSONonglet.

4. Ajoutez la section mise en surbrillance dans l’exemple de stratégie suivant à la politique. Remplacez le compte d'exemple IDs (012345678901) avec votre identifiant de compte. Remplacez <username> par votre nom d’utilisateur.

   {
               "Sid": "S3",
               "Effect": "Allow",
               "Action": [
                   "s3:Abort*",
                   "s3:DeleteObject*",
                   "s3:GetObject*",
                   "s3:GetBucket*",
                   "s3:List*",
                   "s3:ListBucket",
                   "s3:PutObject"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-<username>",
                   "arn:aws:s3:::ka-app-code-<username>/*"
               ]
             }, 
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:region:account-id:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:region:account-id:log-group:%LOG_GROUP_PLACEHOLDER%:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:region:account-id:log-group:%LOG_GROUP_PLACEHOLDER%:log-stream:%LOG_STREAM_PLACEHOLDER%"
               ]
           }
           ,
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           
       ]
   }

1. Sur la MyApplicationpage, choisissez Configurer.

2. Sur la page Configurer l’application, indiquez l’emplacement du code:

   • Pour le compartiment Amazon S3, saisissez ka-app-code-<username>.

   • Pour le chemin de l'objet Amazon S3, saisissez code/aws-kinesis-analytics-java-apps-1.0.jar.

3. Sous Accès aux ressources de l'application, pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

4. Sous Surveillance, assurez-vous que Surveillance du niveau des métriques est défini sur Application.

5. Pour la CloudWatch journalisation, cochez la case Activer.

6. Choisissez Mettre à jour.

1. Sur la MyApplicationpage, choisissez Exécuter. Laissez l’option Exécuter sans instantané sélectionnée et confirmez l’action.

2. Lorsque l’application est en cours d’exécution, actualisez la page. La console affiche le graphique de l’application.

1. Ajoutez les instructions d’importation suivantes au début du fichier S3StreamingSinkJob.java :

   import org.apache.flink.streaming.api.functions.sink.filesystem.rollingpolicies.DefaultRollingPolicy;
   import org.apache.flink.streaming.api.functions.sink.filesystem.bucketassigners.DateTimeBucketAssigner;

2. Mettez à jour la méthode createS3SinkFromStaticConfig() dans le code pour qu’elle se présente comme suit :

   private static StreamingFileSink<String> createS3SinkFromStaticConfig() {
   
       final StreamingFileSink<String> sink = StreamingFileSink
           .forRowFormat(new Path(s3SinkPath), new SimpleStringEncoder<String>("UTF-8"))
           .withBucketAssigner(new DateTimeBucketAssigner("yyyy-MM-dd--HH"))
           .withRollingPolicy(DefaultRollingPolicy.create().build())
           .build();
       return sink;
   }
               

1. Augmentez le paramètre CheckpointInterval de l’application. L'entrée suivante pour l' UpdateApplicationaction définit l'intervalle entre les points de contrôle à 10 minutes :

   {
      "ApplicationConfigurationUpdate": {  
         "FlinkApplicationConfigurationUpdate": { 
            "CheckpointConfigurationUpdate": {
               "ConfigurationTypeUpdate" : "CUSTOM", 
               "CheckpointIntervalUpdate": 600000
            }
         }
      },
      "ApplicationName": "MyApplication",
      "CurrentApplicationVersionId": 5
   }

   Pour utiliser le code précédent, spécifiez la version actuelle de l’application. Vous pouvez récupérer la version de l'application à l'aide de l'ListApplicationsaction.

2. Ajoutez l’instruction d’importation suivante au début du fichier S3StreamingSinkJob.java :

   import java.util.concurrent.TimeUnit; 

3. Mettez à jour la méthode createS3SinkFromStaticConfig dans le fichier S3StreamingSinkJob.java pour qu’elle se présente comme suit :

   private static StreamingFileSink<String> createS3SinkFromStaticConfig() {
   
           final StreamingFileSink<String> sink = StreamingFileSink
                   .forRowFormat(new Path(s3SinkPath), new SimpleStringEncoder<String>("UTF-8"))
                   .withBucketAssigner(new DateTimeBucketAssigner("yyyy-MM-dd--HH"))
                   .withRollingPolicy(
                           DefaultRollingPolicy.create()
                               .withRolloverInterval(TimeUnit.MINUTES.toMillis(8))
                               .withInactivityInterval(TimeUnit.MINUTES.toMillis(5))
                               .withMaxPartSize(1024 * 1024 * 1024)
                               .build())
                   .build();
           return sink;
       }

   L’exemple de code précédent définit la fréquence des écritures dans le compartiment Amazon S3 à 8 minutes.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Dans le panneau Managed Service for Apache Flink, choisissez MyApplication.

3. Sur la page de l’application, choisissez Supprimer, puis confirmez la suppression.

1. Ouvrez la console Kinesis à l'adresse /kinesis. https://console.aws.amazon.com

2. Dans le panneau Kinesis Data Streams, ExampleInputStreamsélectionnez.

3. Sur la ExampleInputStreampage, choisissez Supprimer Kinesis Stream, puis confirmez la suppression.

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez le ka-app-code -<username> seau.

3. Choisissez Supprimer, puis saisissez le nombre du compartiment pour confirmer la suppression.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Dans la barre de navigation, choisissez Stratégies.

3. Dans le contrôle du filtre, saisissez kinesis.

4. Choisissez la politique kinesis-analytics-service- MyApplication -us-west-2.

5. Choisissez Actions de stratégie, puis Supprimer.

6. Dans la barre de navigation, choisissez Rôles.

7. Choisissez le rôle kinesis-analytics- MyApplication -us-west-2.

8. Choisissez Supprimer le rôle, puis confirmez la suppression.

1. Ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/.

2. Dans la barre de navigation, choisissez Journaux.

3. Choisissez le groupe/aws/kinesis-analytics/MyApplicationlog.

4. Choisissez Supprimer le groupe de journaux, puis confirmez la suppression.

1. Installez le client Git si vous ne l’avez pas déjà fait. Pour plus d’informations, consultez Installation de Git.

2. Cloner le référentiel distant à l’aide de la commande suivante :

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Le code d’application est situé dans le fichier amazon-kinesis-data-analytics-java-examples/KafkaConnectors/KafkaGettingStartedJob.java. Vous pouvez examiner le code pour vous familiariser avec la structure du code de l’application de service géré pour Apache Flink.

4. Utilisez l'outil Maven en ligne de commande ou votre environnement de développement préféré pour créer le fichier. JAR Pour compiler le JAR fichier à l'aide de l'outil Maven en ligne de commande, entrez ce qui suit :

   mvn package -Dflink.version=1.15.3

   En cas de succès de la génération, le fichier suivant est créé :

   target/KafkaGettingStartedJob-1.0.jar

   Note

   Le code source fourni repose sur les bibliothèques de Java 11. Si vous utilisez un environnement de développement,

1. Dans la console Amazon S3, choisissez le ka-app-code -<username>bucket, puis choisissez Upload.

2. À l’étape Sélectionner les fichiers, choisissez Ajouter des fichiers. Accédez au fichier KafkaGettingStartedJob-1.0.jar que vous avez créé à l’étape précédente.

3. Vous n’avez pas besoin de modifier les paramètres de l’objet, donc choisissez Charger.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink.

2. Dans le tableau de bord du service géré pour Apache Flink, choisissez Créer une application d’analyse.

3. Sur la page Service géré pour Apache Flink - Créer une application, fournissez les détails de l’application comme suit :

   • Pour Nom de l’application, saisissez MyApplication.

   • Pour Exécution, choisissez Apache Flink 1.15.2.

4. Pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

5. Choisissez Créer une application.

1. Sur la MyApplicationpage, choisissez Configurer.

2. Sur la page Configurer l’application, indiquez l’emplacement du code:

   • Pour le compartiment Amazon S3, saisissez ka-app-code-<username>.

   • Pour le chemin de l'objet Amazon S3, saisissez KafkaGettingStartedJob-1.0.jar.

3. Sous Accès aux ressources de l'application, pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

   Note

   Lorsque vous spécifiez des ressources d'application à l'aide de la console (comme CloudWatch Logs ou AmazonVPC), la console modifie votre rôle d'exécution d'application pour autoriser l'accès à ces ressources.

4. Sous Propriétés, sélectionnez Ajouter un groupe. Saisissez les propriétés suivantes :

   ID du groupe	Clé	Valeur
   KafkaSource	topic	AWS KafkaTutorialTopic
   KafkaSource	serveurs bootstrap	The bootstrap server list you saved previously
   KafkaSource	security.protocol	SSL
   KafkaSource	ssl.truststore.location	/usr/lib/jvm/java-11-amazon-corretto/lib/security/cacerts
   KafkaSource	ssl.truststore.password	changeit

   Note

   Le ssl.truststore.password du certificat par défaut est « changeit » ; vous n’avez pas besoin de modifier cette valeur si vous utilisez le certificat par défaut.

   Choisissez à nouveau Ajouter un groupe. Saisissez les propriétés suivantes :

   ID du groupe	Clé	Valeur
   KafkaSink	topic	AWS KafkaTutorialTopicDestination
   KafkaSink	serveurs bootstrap	The bootstrap server list you saved previously
   KafkaSink	security.protocol	SSL
   KafkaSink	ssl.truststore.location	/usr/lib/jvm/java-11-amazon-corretto/lib/security/cacerts
   KafkaSink	ssl.truststore.password	changeit
   KafkaSink	transaction.timeout.ms	1 000

   Le code de l'application lit les propriétés de l'application ci-dessus pour configurer la source et le récepteur utilisés pour interagir avec votre MSK cluster VPC et avec Amazon. Pour obtenir plus d’informations sur l’utilisation des propriétés, consultez Utiliser les propriétés d'exécution dans Managed Service pour Apache Flink.

5. Sous Instantanés, choisissez Désactiver. Cela facilitera la mise à jour de l’application sans charger de données d’état de l’application non valides.

6. Sous Surveillance, assurez-vous que Surveillance du niveau des métriques est défini sur Application.

7. Pour la CloudWatch journalisation, cochez la case Activer.

8. Dans la section Virtual Private Cloud (VPC), choisissez le VPC à associer à votre application. Choisissez les sous-réseaux et le groupe de sécurité associés VPC que vous souhaitez que l'application utilise pour accéder aux VPC ressources.

9. Choisissez Mettre à jour.

1. Créez un fichier nommé stock.py avec le contenu suivant :

    
       import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Exécutez le script stock.py :

   $ python stock.py

   Maintenez le script en cours d’exécution pendant que vous terminez le reste du didacticiel.

1. Installez le client Git si vous ne l’avez pas déjà fait. Pour plus d’informations, consultez Installation de Git.

2. Cloner le référentiel distant à l’aide de la commande suivante :

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Accédez au répertoire amazon-kinesis-data-analytics-java-examples/EfoConsumer.

1. Installez Java et Maven si ce n’est pas déjà fait. Pour plus d’informations, consultez Remplissez les prérequis requis dans le didacticiel Tutoriel : Commencez à utiliser le DataStream API service géré pour Apache Flink.

2. Compilez l’application à l’aide de la commande suivante :

   mvn package -Dflink.version=1.15.3

   Note

   Le code source fourni repose sur les bibliothèques de Java 11.

1. Dans la console Amazon S3, choisissez le ka-app-code -<username>bucket, puis choisissez Upload.

2. À l’étape Sélectionner les fichiers, choisissez Ajouter des fichiers. Accédez au fichier aws-kinesis-analytics-java-apps-1.0.jar que vous avez créé à l’étape précédente.

3. Vous n’avez pas besoin de modifier les paramètres de l’objet, donc choisissez Charger.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Dans le tableau de bord du service géré pour Apache Flink, choisissez Créer une application d’analyse.

3. Sur la page Service géré pour Apache Flink - Créer une application, fournissez les détails de l’application comme suit :

   • Pour Nom de l’application, saisissez MyApplication.

   • Pour Exécution, choisissez Apache Flink.

     Note

     Le service géré pour Apache Flink utilise Apache Flink version 1.15.2.

   • Laissez le menu déroulant de la version sur Apache Flink version 1.15.2 (version recommandée).

4. Pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

5. Choisissez Créer une application.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Choisissez Stratégies. Choisissez la politique kinesis-analytics-service-MyApplication-us-west-2 créée pour vous par la console dans la section précédente.

3. Sur la page Récapitulatif, choisissez Modifier la politique. Choisissez l'JSONonglet.

4. Ajoutez la section mise en surbrillance dans l’exemple de stratégie suivant à la politique. Remplacez le compte d'exemple IDs (012345678901) avec votre identifiant de compte.

   Note

   Ces autorisations permettent à l'application d'accéder au EFO consommateur.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "logs:DescribeLogGroups",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*",
                   "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": "logs:DescribeLogStreams",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": "logs:PutLogEvents",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "AllStreams",
               "Effect": "Allow",
               "Action": [
                   "kinesis:ListShards",
                   "kinesis:ListStreamConsumers",
                   "kinesis:DescribeStreamSummary"
               ],
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/*"
           },
           {
               "Sid": "Stream",
               "Effect": "Allow",
               "Action": [
                   "kinesis:DescribeStream",
                   "kinesis:RegisterStreamConsumer",
                   "kinesis:DeregisterStreamConsumer"
               ],
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           },
           {
               "Sid": "Consumer",
               "Effect": "Allow",
               "Action": [
                   "kinesis:DescribeStreamConsumer",
                   "kinesis:SubscribeToShard"
               ],
               "Resource": [
                   "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream/consumer/my-efo-flink-app",
                   "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream/consumer/my-efo-flink-app:*"
               ]
           }
       ]
   }

1. Sur la MyApplicationpage, choisissez Configurer.

2. Sur la page Configurer l’application, indiquez l’emplacement du code:

   • Pour le compartiment Amazon S3, saisissez ka-app-code-<username>.

   • Pour le chemin de l'objet Amazon S3, saisissez aws-kinesis-analytics-java-apps-1.0.jar.

3. Sous Accès aux ressources de l'application, pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

4. Sous Propriétés, sélectionnez Créer un groupe.

5. Entrez les valeurs et propriétés d’application suivantes :

   ID du groupe	Clé	Valeur
   ConsumerConfigProperties	flink.stream.recordpublisher	EFO
   ConsumerConfigProperties	flink.stream.efo.consumername	basic-efo-flink-app
   ConsumerConfigProperties	INPUT_STREAM	ExampleInputStream
   ConsumerConfigProperties	flink.inputstream.initpos	LATEST
   ConsumerConfigProperties	AWS_REGION	us-west-2

6. Sous Propriétés, sélectionnez Créer un groupe.

7. Entrez les valeurs et propriétés d’application suivantes :

   ID du groupe	Clé	Valeur
   ProducerConfigProperties	OUTPUT_STREAM	ExampleOutputStream
   ProducerConfigProperties	AWS_REGION	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

8. Sous Surveillance, assurez-vous que Surveillance du niveau des métriques est défini sur Application.

9. Pour la CloudWatch journalisation, cochez la case Activer.

10. Choisissez Mettre à jour.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. dans le panneau Managed Service for Apache Flink, sélectionnez MyApplication.

3. Sur la page de l’application, choisissez Supprimer, puis confirmez la suppression.

1. Ouvrez la console Kinesis à l'adresse /kinesis. https://console.aws.amazon.com

2. Dans le panneau Kinesis Data Streams, ExampleInputStreamsélectionnez.

3. Sur la ExampleInputStreampage, choisissez Supprimer Kinesis Stream, puis confirmez la suppression.

4. Sur la page Kinesis Streams, choisissez le ExampleOutputStream, choisissez Actions, choisissez Supprimer, puis confirmez la suppression.

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez le ka-app-code -<username> seau.

3. Choisissez Supprimer, puis saisissez le nombre du compartiment pour confirmer la suppression.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Dans la barre de navigation, choisissez Stratégies.

3. Dans le contrôle du filtre, saisissez kinesis.

4. Choisissez la politique kinesis-analytics-service- MyApplication -us-west-2.

5. Choisissez Actions de stratégie, puis Supprimer.

6. Dans la barre de navigation, choisissez Rôles.

7. Choisissez le rôle kinesis-analytics- MyApplication -us-west-2.

8. Choisissez Supprimer le rôle, puis confirmez la suppression.

1. Ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/.

2. Dans la barre de navigation, choisissez Journaux.

3. Choisissez le groupe/aws/kinesis-analytics/MyApplicationlog.

4. Choisissez Supprimer le groupe de journaux, puis confirmez la suppression.

1. Créez un fichier nommé stock.py avec le contenu suivant :

    import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Exécutez le script stock.py :

   $ python stock.py

   Maintenez le script en cours d’exécution pendant que vous terminez le reste du didacticiel.

1. Cloner le référentiel distant à l’aide de la commande suivante :

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Accédez au répertoire amazon-kinesis-data-analytics-java-examples/FirehoseSink.

1. Installez Java et Maven si ce n’est pas déjà fait. Pour plus d’informations, consultez Remplissez les prérequis requis dans le didacticiel Tutoriel : Commencez à utiliser le DataStream API service géré pour Apache Flink.

2. Pour utiliser le connecteur Kinesis pour l’application suivante, vous devez télécharger, construire et installer Apache Maven. Pour de plus amples informations, veuillez consulter Utilisation du connecteur Apache Flink Kinesis Streams avec les versions précédentes d'Apache Flink.

3. Compilez l’application à l’aide de la commande suivante :

   mvn package -Dflink.version=1.15.3

   Note

   Le code source fourni repose sur les bibliothèques de Java 11.

Pour charger le code d’application

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Dans la console, choisissez le ka-app-code -<username>bucket, puis choisissez Upload.

3. À l’étape Sélectionner les fichiers, choisissez Ajouter des fichiers. Accédez au fichier java-getting-started-1.0.jar que vous avez créé à l’étape précédente.

4. Vous n’avez pas besoin de modifier les paramètres de l’objet, donc choisissez Charger.

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Dans le tableau de bord du service géré pour Apache Flink, choisissez Créer une application d’analyse.

3. Sur la page Service géré pour Apache Flink - Créer une application, fournissez les détails de l’application comme suit :

   • Pour Nom de l’application, saisissez MyApplication.

   • Pour Description, saisissez My java test app.

   • Pour Exécution, choisissez Apache Flink.

     Note

     Le service géré pour Apache Flink utilise Apache Flink version 1.15.2.

   • Laissez le menu déroulant de la version sur Apache Flink version 1.15.2 (version recommandée).

4. Pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

5. Choisissez Créer une application.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Choisissez Stratégies. Choisissez la politique kinesis-analytics-service-MyApplication-us-west-2 créée pour vous par la console dans la section précédente.

3. Sur la page Récapitulatif, choisissez Modifier la politique. Choisissez l'JSONonglet.

4. Ajoutez la section mise en surbrillance dans l’exemple de stratégie suivant à la politique. Remplacez toutes les instances du compte d'exemple IDs (012345678901) avec votre identifiant de compte.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/java-getting-started-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
              ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteDeliveryStream",
               "Effect": "Allow",
               "Action": "firehose:*",
               "Resource": "arn:aws:firehose:us-west-2:012345678901:deliverystream/ExampleDeliveryStream"
           }
       ]
   }

1. Sur la MyApplicationpage, choisissez Configurer.

2. Sur la page Configurer l’application, indiquez l’emplacement du code:

   • Pour le compartiment Amazon S3, saisissez ka-app-code-<username>.

   • Pour le chemin de l'objet Amazon S3, saisissez java-getting-started-1.0.jar.

3. Sous Accès aux ressources de l'application, pour les autorisations d'accès, choisissez Create/update IAM role kinesis-analytics-MyApplication-us-west-2.

4. Sous Surveillance, assurez-vous que Surveillance du niveau des métriques est défini sur Application.

5. Pour la CloudWatch journalisation, cochez la case Activer.

6. Choisissez Mettre à jour.

Pour créer un rôle IAM

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Dans le volet de navigation, choisissez Rôles, puis Créer un rôle.

3. Sous Sélectionner le type d'identité approuvée, choisissez Service AWS . Sous Choisir le service qui utilisera ce rôle, choisissez EC2. Sous Sélectionner votre cas d’utilisation, choisissez Kinesis Analytics.

   Sélectionnez Next: Permissions (Étape suivante : autorisations).

4. Dans la page Attacher des stratégies d’autorisations, choisissez Suivant : vérification. Vous attachez des stratégies d’autorisations après avoir créé le rôle.

5. Sur la page Créer un rôle, saisissez MF-stream-rw-role pour le Nom du rôle. Sélectionnez Créer un rôle.

   Vous avez maintenant créé un nouveau IAM rôle appeléMF-stream-rw-role. Ensuite, vous mettez à jour les stratégies d’approbation et d’autorisation pour le rôle.

6. Attachez la politique d’autorisation au rôle.

   Note

   Dans le cadre de cet exercice, le service géré pour Apache Flink assume ce rôle à la fois pour la lecture des données à partir d’un flux de données Kinesis (source) et pour l’écriture des résultats dans un autre flux de données Kinesis. Vous attachez donc la politique que vous avez créée à l’étape précédente, Créer une stratégie d’autorisations.

   1. Sur la page Récapitulatif, choisissez l’onglet Autorisations.

   2. Choisissez Attacher des stratégies.

   3. Dans la zone de recherche, saisissez AKReadSourceStreamWriteSinkStream (la politique que vous avez créée dans la section précédente).

   4. Choisissez la AKReadSourceStreamWriteSinkStreampolitique, puis choisissez Attacher la politique.

1. Enregistrez le JSON code suivant dans un fichier nommécreate_request.json. Remplacez le rôle ARN d'exemple par le rôle que vous avez créé précédemment. ARN Remplacez le ARN suffixe du bucket par le suffixe que vous avez choisi dans la Création de ressources dépendantes section (ka-app-code-<username>.) Remplacez l'exemple d'identifiant de compte (012345678901) dans le rôle d'exécution du service avec votre identifiant de compte.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_15",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "java-getting-started-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           }
         }
       }
   }
   
   

2. Exécutez l’action CreateApplication avec la demande précédente pour créer l’application :

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Pour démarrer l’application

1. Enregistrez le JSON code suivant dans un fichier nomméstart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Exécutez l’action StartApplication avec la demande précédente pour démarrer l’application :

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Pour arrêter l’application

1. Enregistrez le JSON code suivant dans un fichier nomméstop_request.json.

   
   {
       "ApplicationName": "test"
   }
   

2. Exécutez l’action StopApplication avec la demande suivante pour arrêter l’application :

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

1. Ouvrez le service géré pour la console Apache Flink à https://console.aws.amazon.com l'adresse /flink

2. Dans le panneau Managed Service for Apache Flink, choisissez MyApplication.

3. Choisissez Configurer.

4. Dans la section Instantanés, choisissez Désactiver, puis sélectionnez Mettre à jour.

5. Sur la page de l’application, choisissez Supprimer, puis confirmez la suppression.

1. Ouvrez la console Kinesis à l'adresse /kinesis. https://console.aws.amazon.com

2. Dans le panneau Kinesis Data Streams, ExampleInputStreamsélectionnez.

3. Sur la ExampleInputStreampage, choisissez Supprimer Kinesis Stream, puis confirmez la suppression.

1. Ouvrez la console Kinesis à l'adresse /kinesis. https://console.aws.amazon.com

2. Dans le panneau Firehose, choisissez. ExampleDeliveryStream

3. Sur la ExampleDeliveryStreampage, choisissez Delete Firehose stream, puis confirmez la suppression.

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez le ka-app-code -<username> seau.

3. Choisissez Supprimer, puis saisissez le nombre du compartiment pour confirmer la suppression.

4. Si vous avez créé un compartiment Amazon S3 pour la destination de votre flux Firehose, supprimez-le également.

1. Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

2. Dans la barre de navigation, choisissez Stratégies.

3. Dans le contrôle du filtre, saisissez kinesis.

4. Choisissez la politique kinesis-analytics-service- MyApplication -us-west-2.

5. Choisissez Actions de stratégie, puis Supprimer.

6. Si vous avez créé une nouvelle politique pour votre stream Firehose, supprimez-la également.

7. Dans la barre de navigation, choisissez Rôles.

8. Choisissez le rôle kinesis-analytics- MyApplication -us-west-2.

9. Choisissez Supprimer le rôle, puis confirmez la suppression.

10. Si vous avez créé un nouveau rôle pour votre stream Firehose, supprimez-le également.

1. Ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/.

2. Dans la barre de navigation, choisissez Journaux.

3. Choisissez le groupe/aws/kinesis-analytics/MyApplicationlog.

4. Choisissez Supprimer le groupe de journaux, puis confirmez la suppression.