Le service géré Amazon pour Apache Flink était auparavant connu sous le nom d’Amazon Kinesis Data Analytics pour Apache Flink.
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Amazon Managed Service pour Apache Flink 1.15
Le service géré pour Apache Flink prend en charge les nouvelles fonctionnalités suivantes dans Apache 1.15.2 :
| Fonctionnalité | Description | FLIPRéférence Apache |
|---|---|---|
| Récepteur asynchrone | Un framework AWS contributif pour la création de destinations asynchrones qui permet aux développeurs de créer des AWS connecteurs personnalisés avec moins de la moitié de l'effort précédent. Pour plus d’informations, consultez The Generic Asynchronous Base Sink. |
FLIP-171 : Réservoir asynchrone. |
| Récepteur Kinesis Data Firehose | AWS a contribué à un nouvel Amazon Kinesis Firehose Sink utilisant le framework Async. | Récepteur Amazon Kinesis Data Firehose |
| Arrêter avec point de sauvegarde | Arrêter avec point de sauvegarde garantit un fonctionnement sans faille et surtout en garantissant une sémantique unique pour les clients qui comptent dessus. | FLIP-34 : Terminer/suspendre le Job |
| Découplage Scala | Les utilisateurs peuvent désormais exploiter le Java API à partir de n'importe quelle version de Scala, y compris Scala 3. Les clients devront intégrer la bibliothèque standard Scala de leur choix à leurs applications Scala. | FLIP-28 : Objectif à long terme de rendre Flink-Table |
| Scala | Voir le découplage de Scala ci-dessus | FLIP-28 : Objectif à long terme de rendre Flink-Table |
| Métriques du connecteur unifié | Flink a défini des métriques standardnumRestarts en parallèle avec fullRestarts dans la version 1.15 pour les métriques de disponibilité. |
FLIP-33 : Standardiser les métriques du connecteur |
| Point de contrôle des tâches terminées | Cette fonctionnalité est activée par défaut dans Flink 1.15 et permet de continuer à effectuer des points de contrôle même si certaines parties du graphique de tâches ont fini de traiter toutes les données, ce qui peut se produire s’il contient des sources limitées (par lots). | FLIP-147 : Points de contrôle du support une fois les tâches terminées. |
Modifications apportées au service géré Amazon pour Apache Flink avec Apache Flink 1.15
Blocs-notes Studio
Le service géré pour Apache Flink prend désormais en charge Apache Flink 1.15. Le service géré pour Apache Flink Studio utilise les blocs-notes Apache Zeppelin pour fournir une expérience de développement à interface unique pour le développement, le débogage de code et l’exécution d’applications de traitement de flux Apache Flink. Vous pouvez en savoir plus sur le service géré pour Apache Flink Studio et sur la façon de démarrer sur Utiliser un bloc-notes Studio avec service géré pour Apache Flink.
EFOconnecteur
Lors de la mise à niveau vers le service géré pour Apache Flink version 1.15, assurez-vous que vous utilisez le EFO connecteur le plus récent, c'est-à-dire une version 1.15.3 ou ultérieure. Pour plus d'informations sur les raisons, consultez FLINK-29324
Découplage Scala
Pour commencer avec Flink 1.15.2, vous devrez intégrer la bibliothèque standard Scala de votre choix à vos applications Scala.
Récepteur Kinesis Data Firehose
Lors de la mise à niveau vers la version 1.15 du service géré pour Apache Flink, assurez-vous que vous utilisez le récepteur Amazon Kinesis Data Firehose
Connecteurs Kafka
Lors de la mise à niveau vers Amazon Managed Service for Apache Flink pour Apache Flink version 1.15, assurez-vous d'utiliser le connecteur Kafka le plus récent. APIs Apache Flink est obsolète FlinkKafkaConsumer
Composants
| Composant | Version |
|---|---|
| Java | 11 (recommandée) |
| Scala | 2,12 |
| Service géré pour Apache Flink Flink Runtime () aws-kinesisanalytics-runtime | 1.2.0 |
| AWS Connecteur Kinesis () flink-connector-kinesis |
1.15.4 |
| Apache Beam (applications Beam uniquement) |
2.33.0, avec la version Jackson 2.12.2 |
Problèmes connus
Kafka Commit lors du point de contrôle échoue à plusieurs reprises après le redémarrage d'un broker
Il existe un problème connu d'Apache Flink open source avec le connecteur Apache Kafka dans la version 1.15 de Flink, causé par un bogue critique du client Kafka open source dans le client Kafka 2.8.1. Pour plus d'informations, consultez Kafka Commit lorsque le point de contrôle échoue à plusieurs reprises après le redémarrage d'un broker
Pour éviter ce problème, nous vous recommandons d'utiliser Apache Flink 1.18 ou version ultérieure dans Amazon Managed Service pour Apache Flink.
