Le service géré Amazon pour Apache Flink était auparavant connu sous le nom d’Amazon Kinesis Data Analytics pour Apache Flink.
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Exemples de Python pour le service géré pour Apache Flink
Les exemples suivants montrent comment créer des applications écrites en Python.
Note
La plupart des exemples sont conçus pour fonctionner à la fois localement, sur votre machine de développement et celle IDE de votre choix, et sur Amazon Managed Service pour Apache Flink. Ils montrent le mécanisme simple que vous pouvez utiliser pour transmettre les paramètres de l'application et comment définir correctement la dépendance pour exécuter l'application dans les deux environnements sans modification.
Dépendances du projet
La plupart PyFlink des exemples nécessitent une ou plusieurs dépendances sous forme de JAR fichiers, par exemple pour les connecteurs Flink. Ces dépendances doivent ensuite être intégrées à l'application lors du déploiement sur Amazon Managed Service pour Apache Flink.
Les exemples suivants incluent déjà les outils qui vous permettent d'exécuter l'application localement à des fins de développement et de test, et d'empaqueter correctement les dépendances requises. Cet outillage nécessite l'utilisation de Java JDK11 et d'Apache Maven. Reportez-vous au README contenu de chaque exemple pour les instructions spécifiques.
Exemples
Cet exemple illustre la structure de base d'une PyFlink application utilisant le code SQL intégré en Python. Ce projet fournit également un squelette pour toute PyFlink application qui inclut des JAR dépendances telles que des connecteurs. La README section fournit des instructions détaillées sur la façon d'exécuter votre application Python localement pour le développement. L'exemple montre également comment inclure une seule JAR dépendance, le SQL connecteur Kinesis dans cet exemple, dans votre PyFlink application.
Exemple de code : GettingStarted
Cet exemple montre comment ajouter des dépendances Python à votre PyFlink application de la manière la plus générale. Cette méthode fonctionne pour les dépendances simples, comme Boto3, ou pour les dépendances complexes contenant des bibliothèques C telles que. PyArrow
Exemple de code : PythonDependencies
Cet exemple illustre quatre types d'agrégation de fenêtrage SQL intégrés dans une application Python.
-
Fenêtre coulissante basée sur le temps de traitement
-
Fenêtre coulissante basée sur l'heure de l'événement
-
Fenêtre de défilement basée sur le temps de traitement
-
Fenêtre tumbling basée sur l'heure de l'événement
Exemple de code : Fenêtrage
Cet exemple montre comment écrire votre sortie sur Amazon S3 sous forme de JSON fichiers, en utilisant SQL Embedded in a Python application. Vous devez activer le point de contrôle pour que le récepteur S3 puisse écrire et faire pivoter des fichiers vers Amazon S3.
Exemple de code : S3Sink
Cet exemple montre comment définir une fonction définie par l'utilisateur, l'implémenter en Python et l'utiliser dans SQL du code exécuté dans une application Python.
Exemple de code : UDF
Cet exemple montre comment envoyer des données à Amazon Data Firehose à l'aide de. SQL
Exemple de code : FirehoseSink
