Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Service géré Amazon pour Apache Flink 1.18
Le service géré pour Apache Flink prend désormais en charge la version 1.18.1 d'Apache Flink. Découvrez les principales nouvelles fonctionnalités et modifications introduites avec la prise en charge d'Apache Flink par Managed Service for Apache Flink 1.18.1.
Note
Si vous utilisez une version antérieure d'Apache Flink prise en charge et que vous souhaitez mettre à niveau vos applications existantes vers Apache Flink 1.18.1, vous pouvez le faire en utilisant les mises à niveau de version d'Apache Flink sur place. Grâce aux mises à niveau de version sur place, vous conservez la traçabilité des applications par rapport à un ARN unique pour toutes les versions d'Apache Flink, y compris les instantanés, les journaux, les métriques, les balises, les configurations Flink, etc. Vous pouvez utiliser cette fonctionnalité dans n'RUNNINGimporte quel READY état. Pour de plus amples informations, veuillez consulter Utiliser des mises à niveau de version sur place pour Apache Flink.
| Fonctionnalités prises en charge | Description | Référence de la documentation Apache Flink |
|---|---|---|
| Connecteur Opensearch | Ce connecteur comprend un évier qui fournit des garanties au moins une fois. | github : Connecteur Opensearch |
| Connecteur Amazon DynamoDB | Ce connecteur comprend un évier qui fournit des garanties au moins une fois. | Évier Amazon DynamoDB |
| connecteur MongoDB | Ce connecteur comprend une source et un récepteur qui fournissent des garanties au moins une fois. | Connecteur MongoDB |
| Decouple Hive avec le planificateur Flink |
Vous pouvez utiliser le dialecte Hive directement sans avoir à changer de fichier JAR supplémentaire. |
FLINK-26603: Decouple Hive avec le planificateur Flink |
| Désactiver WAL RocksDBWriteBatchWrapper par défaut |
Cela permet des temps de restauration plus rapides. |
FLINK-32326: Désactive WAL in RocksDBWriteBatchWrapper par défaut |
|
Améliorez les performances d'agrégation des filigranes lors de l'activation de l'alignement des filigranes |
Améliore les performances d'agrégation des filigranes lors de l'activation de l'alignement des filigranes et ajoute la référence correspondante. |
FLINK-32524: performance d'agrégation des filigranes |
| Préparez l'alignement des filigranes pour une utilisation en production | Élimine le risque de surcharge de gros travaux JobManager | FLINK-32548: Préparez l'alignement des filigranes |
|
Configurable RateLimitingStratey pour Async Sink |
RateLimitingStrategy vous permet de configurer la décision concernant les éléments à redimensionner, le moment de le faire et le degré de mise à l'échelle. |
FLIP-242: Introduisez la configuration RateLimitingStrategy pour Async Sink |
|
Récupération groupée de statistiques de tables et de colonnes |
Performances de requêtes améliorées. | FLIP-247: Récupération groupée des statistiques des tables et des colonnes pour des partitions données |
Pour la documentation de la version 1.18.1 d'Apache Flink, consultez l'annonce de publication d'Apache Flink 1.18.1.
Changements apportés à Amazon Managed Service pour Apache Flink avec Apache Flink 1.18
Akka a été remplacé par Pekko
Apache Flink a remplacé Akka par Pekko dans Apache Flink 1.18. Cette modification est entièrement prise en charge dans le service géré pour Apache Flink à partir d'Apache Flink 1.18.1 et versions ultérieures. Vous n'avez pas besoin de modifier vos applications à la suite de cette modification. Pour plus d'informations, voir FLINK-32468 : Remplacer Akka par
Soutenir l' PyFlink exécution de Runtime en mode Thread
Cette modification d'Apache Flink introduit un nouveau mode d'exécution pour le framework Pyflink Runtime, le mode Process. Le mode Processus peut désormais exécuter des fonctions Python définies par l'utilisateur dans le même thread au lieu d'un processus distinct.
Corrections de bugs rétroportées
Amazon Managed Service for Apache Flink rétroporte les correctifs de la communauté Flink pour des problèmes critiques. Cela signifie que le runtime est différent de celui de la version 1.18.1 d'Apache Flink. Voici une liste des corrections de bogues que nous avons rétroportées :
| Lien vers Apache Flink JIRA | Description |
|---|---|
| FLINK-33863 |
Ce correctif résout le problème en cas d'échec de la restauration de l'état des instantanés compressés. |
| FLINK-34063 |
Ce correctif résout le problème lorsque les opérateurs de source perdent des divisions lorsque la compression des instantanés est activée. Apache Flink propose une compression optionnelle (désactivée par défaut) pour tous les points de contrôle et de sauvegarde. Apache Flink a identifié un bogue dans Flink 1.18.1 qui empêchait de restaurer correctement l'état de l'opérateur lorsque la compression des snapshots était activée. Cela peut entraîner une perte de données ou une impossibilité de restauration à partir du point de contrôle. |
| FLINK-35069 |
Ce correctif résout le problème lorsqu'une tâche Flink est bloquée et déclenche un minuteur à la fin d'une fenêtre. |
| FLINK-35097 |
Ce correctif résout le problème des enregistrements dupliqués dans un connecteur de système de fichiers de l'API Table au format brut. |
| FLINK-34379 |
Ce correctif résout le problème de l'activation OutOfMemoryError du filtrage dynamique des tableaux. |
| FLINK-28693 |
Ce correctif résout le problème de l'impossibilité pour l'API Table de générer un graphique si le filigrane contient une expression ColumnBy. |
| FLINK-35217 |
Ce correctif résout le problème d'un point de contrôle endommagé lors d'un mode d'échec de tâche Flink spécifique. |
Éléments
| Composant | Version |
|---|---|
| Java | 11 (recommandée) |
| Scala |
Depuis la version 1.15, Flink l'est. Scala-agnostic À titre de référence, MSF Flink 1.18 a été vérifié par rapport à Scala 3.3 (LTS). |
| Service géré pour Apache Flink pour l’exécution Flink (aws-kinesisanalytics-runtime) | 1.2.0 |
| AWS Connecteur Kinesis (connecteur flin-kinesis) [Source] |
4,2,0 à 1,18 |
| AWS Connecteur Kinesis (connecteur flin-kinesis) [Évier] |
4,2,0 à 1,18 |
| Apache Beam (applications Beam uniquement) |
À partir de la version 2.57.0. Pour plus d'informations, consultez la section Compatibilité des versions de |
Problèmes connus
Service géré Amazon pour Apache Flink Studio
Studio utilise les blocs-notes Apache Zeppelin pour fournir une expérience de développement à interface unique pour le développement, le débogage de code et l'exécution d'applications de traitement de flux Apache Flink. Une mise à niveau de l'interpréteur Flink de Zeppelin est requise pour permettre la prise en charge de Flink 1.18. Ce travail est programmé avec la communauté Zeppelin et nous mettrons à jour ces notes lorsqu'il sera terminé. Vous pouvez continuer à utiliser Flink 1.15 avec Amazon Managed Service pour Apache Flink Studio. Pour plus d'informations, voir Création d'un bloc-notes Studio.
Inactivité du filigrane incorrecte lorsque la sous-tâche est soumise à une contre-pression
Il existe un problème connu dans la génération de filigranes lorsqu'une sous-tâche est soumise à une contre-pression, qui a été corrigé à partir de Flink 1.19 et versions ultérieures. Cela peut se traduire par une augmentation du nombre d'enregistrements tardifs lorsqu'un graphique de tâches Flink est soumis à une contre-pression. Nous vous recommandons de passer à la dernière version de Flink pour intégrer ce correctif. Pour plus d'informations, voir Prise en compte incorrecte du délai d'inactivité des filigranes lorsque la sous-tâche est activée. backpressured/blocked
