Apache Flink - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Apache Flink

Apache Flink est un moteur de flux de données en streaming permettant de traiter des flux en temps réel sur des sources de données à haut débit. Flink prend en charge la sémantique de l'heure des out-of-order événements pour les événements, la sémantique unique, le contrôle de la contre-pression et les API optimisées pour écrire à la fois des applications de streaming et des applications par lots.

En outre, Flink a des connecteurs pour les sources de données tierces, telles que :

Amazon EMR prend en charge Flink comme une application YARN pour que vous puissiez gérer des ressources avec d'autres applications au sein d'un cluster. Flink-sur-YARN vous permet de soumettre des tâches Flink transitoires. Vous pouvez également créer un cluster de longue durée qui accepte plusieurs tâches et alloue des ressources en fonction de la réservation YARN globale.

Flink est inclus dans les versions 5.1.0 et ultérieures d'Amazon EMR.

Note

La prise en charge de la classe FlinkKinesisConsumer a été ajoutée dans Amazon EMR version 5.2.1.

Le tableau suivant répertorie la version de Flink incluse dans la dernière version d’Amazon EMR série 7.x, ainsi que les composants qu’Amazon EMR installe avec Flink.

Pour la version des composants installés avec Flink dans cette version, voir Versions des composants de la version 7.1.0.

Informations de version de Flink pour emr-7.1.0
Étiquette de version Amazon EMR Version Flink Composants installés avec Flink

emr-7.1.0

Flink 1.18.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta

Le tableau suivant répertorie la version de Flink incluse dans la dernière version d'Amazon EMR série 6.x, ainsi que les composants qu'Amazon EMR installe avec Flink.

Pour connaître la version des composants installés avec Flink dans cette version, consultez les versions des composants de la version 6.15.0.

Informations sur la version de Flink pour emr-6.15.0
Étiquette de version Amazon EMR Version Flink Composants installés avec Flink

emr-6.15.0

Flink 1.17.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors

Le tableau suivant répertorie la version de Flink incluse dans la dernière version d'Amazon EMR série 5.x, ainsi que les composants qu'Amazon EMR installe avec Flink.

Pour la version des composants installés avec Flink dans cette version, voir la version 5.36.2 Versions des composants.

Informations de version de Flink pour emr-5.36.2
Étiquette de version Amazon EMR Version Flink Composants installés avec Flink

emr-5.36.2

Flink 1.14.2

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config