Exemples de Java pour le service géré pour Apache Flink - Service géré pour Apache Flink

Le service géré Amazon pour Apache Flink était auparavant connu sous le nom d’Amazon Kinesis Data Analytics pour Apache Flink.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Exemples de Java pour le service géré pour Apache Flink

Les exemples suivants montrent comment créer des applications écrites en Java.

Note

La plupart des exemples sont conçus pour fonctionner à la fois localement, sur votre machine de développement et celle IDE de votre choix, et sur Amazon Managed Service pour Apache Flink. Ils montrent les mécanismes que vous pouvez utiliser pour transmettre les paramètres de l'application et comment définir correctement la dépendance pour exécuter l'application dans les deux environnements sans modification.

Cet exemple montre comment définir la personnalisation TypeInfo dans votre enregistrement ou votre objet d'état afin d'éviter que la sérialisation ne revienne à la sérialisation Kryo, moins efficace. Cela est nécessaire, par exemple, lorsque vos objets contiennent un List ouMap. Pour plus d'informations, consultez la section Types de données et sérialisation dans la documentation d'Apache Flink. L'exemple montre également comment tester si la sérialisation de votre objet revient à la sérialisation Kryo, moins efficace.

Exemple de code : CustomTypeInfo

Cet exemple montre une application simple qui lit à partir d'un flux de données Kinesis et écrit dans un autre flux de données Kinesis, à l'aide du. DataStream API L'exemple montre comment configurer le fichier avec les dépendances correctes, créer l'uber-JAR, puis analyser les paramètres de configuration, afin de pouvoir exécuter l'application à la fois localement, dans votre IDE et sur Amazon Managed Service pour Apache Flink.

Exemple de code : GettingStarted

Cet exemple montre une application simple utilisant le Table API etSQL. Il montre comment intégrer le DataStream API avec le Table API ou SQL dans la même application Java. Il montre également comment utiliser le DataGen connecteur pour générer des données de test aléatoires à partir de l'application Flink elle-même, sans nécessiter de générateur de données externe.

Exemple complet : GettingStartedTable

Cet exemple montre comment utiliser les 'DataStreamAPIFileSinkpour écrire JSON des fichiers dans un compartiment S3.

Exemple de code : S3Sink

Cet exemple montre comment configurer une source consommant un flux de données Kinesis, soit en utilisant le consommateur standardEFO, soit, et comment configurer un récepteur pour le flux de données Kinesis.

Exemple de code : KinesisConnectors

Cet exemple montre comment envoyer des données à Amazon Data Firehose (anciennement connu sous le nom de Kinesis Data Firehose).

Exemple de code : KinesisFirehoseSink

Cet exemple illustre quatre types d'agrégation de fenêtrage dans le DataStreamAPI.

  1. Fenêtre coulissante basée sur le temps de traitement

  2. Fenêtre coulissante basée sur l'heure de l'événement

  3. Fenêtre de défilement basée sur le temps de traitement

  4. Fenêtre tumbling basée sur l'heure de l'événement

Exemple de code : Fenêtrage

Cet exemple montre comment ajouter des métriques personnalisées à votre application Flink et les envoyer vers CloudWatch des métriques.

Exemple de code : CustomMetrics

Cet exemple montre comment vous pouvez utiliser les fournisseurs de configuration Kafka pour configurer un keystore et un truststore personnalisés avec des certificats pour l'TLSauthentification m pour le connecteur Kafka. Cette technique vous permet de charger les certificats personnalisés requis depuis Amazon S3 et les secrets à partir du AWS Secrets Manager démarrage de l'application.

Exemple de code : TLSKafka-M -Keystore- ConfigProviders

Cet exemple montre comment vous pouvez utiliser les fournisseurs de configuration Kafka pour récupérer les informations d'identification AWS Secrets Manager et télécharger le truststore depuis Amazon S3 afin de SCRAM configurer/authentifier sur un SASL connecteur Kafka. Cette technique vous permet de charger les certificats personnalisés requis depuis Amazon S3 et les secrets à partir du AWS Secrets Manager démarrage de l'application.

Exemple de code : Kafka- SASL _ - SSL ConfigProviders