Commencez avec Amazon Managed Service pour Apache Flink () DataStream API - Service géré pour Apache Flink
Vérifiez les composants de l'applicationRemplissez les prérequis requis

Le service géré Amazon pour Apache Flink était auparavant connu sous le nom d’Amazon Kinesis Data Analytics pour Apache Flink.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Commencez avec Amazon Managed Service pour Apache Flink () DataStream API

Cette section présente les concepts fondamentaux du service géré pour Apache Flink et de l'implémentation d'une application en Java à l'aide du DataStream API. Elle décrit les options disponibles pour créer et tester vos applications. Elle fournit également des instructions pour installer les outils nécessaires pour suivre les didacticiels de ce guide et pour créer votre première application.

Rubriques

Passez en revue les composants de l'application Managed Service for Apache Flink

Note

Amazon Managed Service pour Apache Flink prend en charge tous les Apache Flink APIs et potentiellement toutes les JVM langues. Pour plus d'informations, consultez Flink's. APIs

En fonction de API votre choix, la structure de l'application et son implémentation sont légèrement différentes. Ce didacticiel de mise en route couvre la mise en œuvre des applications utilisant le DataStream API en Java.

Pour traiter les données, votre application Managed Service for Apache Flink utilise une application Java qui traite les entrées et produit des sorties à l'aide du moteur d'exécution Apache Flink.

Un service géré typique pour une application Apache Flink comprend les composants suivants :

  • Propriétés d'exécution : vous pouvez utiliser les propriétés d'exécution pour transmettre des paramètres de configuration à votre application afin de les modifier sans modifier ni republier le code.

  • Sources : l'application consomme des données provenant d'une ou de plusieurs sources. Une source utilise un connecteur pour lire les données d'un système externe, tel qu'un flux de données Kinesis ou un bucket Kafka. Pour de plus amples informations, veuillez consulter Ajouter des sources de données de streaming.

  • Opérateurs : l’application traite les données à l’aide d’un ou de plusieurs opérateurs. Un opérateur peut transformer, enrichir ou agréger des données. Pour de plus amples informations, veuillez consulter Opérateurs.

  • Récepteurs : l'application envoie des données à des sources externes via des récepteurs. Un récepteur utilise un connecteur v pour envoyer des données vers un flux de données Kinesis, une rubrique Kafka, Amazon S3 ou une base de données relationnelle. Vous pouvez également utiliser un connecteur spécial pour imprimer la sortie à des fins de développement uniquement. Pour de plus amples informations, veuillez consulter Écrire des données à l'aide de récepteurs.

Votre application nécessite certaines dépendances externes, telles que les connecteurs Flink qu'elle utilise, ou éventuellement une bibliothèque Java. Pour être exécutée dans Amazon Managed Service pour Apache Flink, l'application doit être empaquetée avec ses dépendances dans un fat-jar et téléchargée dans un compartiment Amazon S3. Vous créez ensuite une application de service géré pour Apache Flink. Vous transmettez l'emplacement du package de code, ainsi que tout autre paramètre de configuration d'exécution.

Ce didacticiel explique comment utiliser Apache Maven pour empaqueter l'application et comment exécuter l'application localement dans le fichier IDE de votre choix.

Remplir les conditions préalables pour terminer les exercices

Pour exécuter la procédure indiquée dans ce guide, vous devez disposer des éléments suivants :

  • Client Git. Installez le client Git, si ce n'est pas déjà fait.

  • Kit de développement Java (JDK) version 11. Installez un Java JDK 11 et définissez la variable d'JAVA_HOMEenvironnement pour qu'elle pointe vers votre emplacement d'JDKinstallation. Si vous n'avez pas de JDK 11, vous pouvez utiliser Amazon Coretto 11 ou tout autre standard JDK de votre choix.

    • Pour vérifier que vous l'avez correctement JDK installé, exécutez la commande suivante. Le résultat sera différent si vous utilisez un JDK autre appareil qu'Amazon Corretto. Assurez-vous que la version est 11.x.

      $ java --version

openjdk 11.0.23 2024-04-16 LTS
OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS)
OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)

  • Apache Maven. Installez Apache Maven si ce n'est pas déjà fait. Pour savoir comment l'installer, consultez la section Installation d'Apache Maven.

    • Pour tester votre installation Apache Maven, saisissez les informations suivantes :

    $ mvn -version

  • IDEpour le développement local. Nous vous recommandons d'utiliser un environnement de développement tel qu'Eclipse, Java Neon ou IDEAIntelliJ pour développer et compiler votre application.

    • Pour tester votre installation Apache Maven, saisissez les informations suivantes :

    $ mvn -version

Pour démarrer, accédez à Configuration d'un AWS compte et création d'un utilisateur administrateur.