View a markdown version of this page

Service géré Amazon pour Apache Flink 2.3 - Service géré pour Apache Flink

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Service géré Amazon pour Apache Flink 2.3

Le service géré pour Apache Flink prend désormais en charge la version 2.3.0 d'Apache Flink. Cette section présente les principales nouvelles fonctionnalités et modifications introduites avec la prise en charge d'Apache Flink par Managed Service for Apache Flink 2.3.0.

Note

Si vous utilisez une version antérieure d'Apache Flink prise en charge et que vous souhaitez mettre à niveau vos applications existantes vers Apache Flink 2.3.0, vous pouvez le faire en utilisant les mises à niveau de version d'Apache Flink sur place. Pour de plus amples informations, veuillez consulter Utiliser des mises à niveau de version sur place pour Apache Flink. Grâce aux mises à niveau de version sur place, vous conservez la traçabilité des applications par rapport à un ARN unique pour toutes les versions d'Apache Flink, y compris les instantanés, les journaux, les métriques, les balises, les configurations Flink, etc.

Note

La mise à niveau de Flink 1.x vers Flink 2.3 est une mise à niveau majeure de la version qui comporte des modifications majeures et des considérations de compatibilité des états. Avant de procéder à la mise à niveau depuis la version 1.x, vérifiez Changements majeurs et dépréciations et. Guide de compatibilité d'état pour les mises à niveau de Flink 2.2

Apache Flink 2.3.0 apporte des améliorations à l'API SQL, à la sélection adaptative des partitions pour les charges de travail asymétriques et au tableau de bord Flink.

Fonctionnalités prises en charge et documentation associée

Fonctionnalités prises en charge

Description

Référence de la documentation Apache Flink

Améliorations SinkUpsertMaterializer et troubles du changelog

Améliore l'ordre des mises à jour lors de l'écriture de flux CDC ou de changelog dans des cuves supérieures.

FLIP-558: Améliorations SinkUpsertMaterializer et troubles du journal des modifications

API de lecture pour la gestion des applications

Nouveaux points de terminaison en lecture seule pour une observabilité au niveau de l'application. Les points de terminaison d'écriture sont désactivés dans Amazon Managed Service pour Apache Flink.

FLIP-549: Gestion des applications, FLIP-560 : Amélioration des capacités de gestion des applications

Sélection de partition adaptative pour StreamPartitioner

Opt-in optimisation du débit pour les systèmes asymétriques Rebalance et Rescale partitionneurs. Désactivé par défaut ; activez avectaskmanager.network.adaptive-partitioner.enabled.

FLIP-339: Sélection de partition adaptative pour StreamPartitioner

Note

Vous pouvez choisir de bénéficier des fonctionnalités suivantes en soumettant un dossier d'assistance  :

Opt-in fonctionnalités et documentation associée

Opt-in features

Description

Référence de la documentation Apache Flink

Point de contrôle de soutien pendant la reprise

Cette option est désactivée par défaut car il s'agit d'une fonctionnalité expérimentale en open source. Vous pouvez demander à l'activer pour votre application à l'aide d'un dossier d'assistance.

FLIP-547: point de contrôle de soutien pendant la reprise

Pour la documentation de la version 2.3.0 d'Apache Flink, consultez la documentation d'Apache Flink v2.3.0. Pour les notes de mise à jour de Flink 2.3, voir Notes de version - Flink 2.3.

Apache Flink 2.3 modifie le comportement par défaut de l'alignement des filigranes afin d'éviter que les tâches en attente ne consomment toutes les ressources en aval. Dans Amazon Managed Service pour Apache Flink, la valeur par défaut de pipeline.watermark-alignment.max-drift est définie 0 pour préserver la rétrocompatibilité avec les versions antérieures d'Apache Flink prises en charge et protéger vos applications existantes contre une régression comportementale lors de la mise à niveau. Si vous souhaitez bénéficier du nouveau comportement d'équité, vous pouvez l'activer en le configurant par pipeline.watermark-alignment.max-drift programmation dans le code de votre application. Pour plus d'informations, voir FLINK-37399 : L'alignement des filigranes empêche les tâches en attente d'utiliser toutes les ressources.

Composants pour Amazon Managed Service pour Apache Flink 2.3

Composant

Version

Java

17 (recommandé)

Python

3,12

Durée d'exécution de Kinesis Data Analytics Flink (aws-kinesisanalytics-runtime)

1.2.0

Connecteurs

Pour plus d'informations sur les connecteurs disponibles, consultez la section Connecteurs https://docs.aws.amazon.com/managed-flink/latest/java/how-flink-connectors.html Apache Flink.

Les fonctionnalités suivantes d'Apache Flink 2.3 ne sont pas prises en charge dans Amazon Managed Service pour Apache Flink :

  • Tableaux matérialisés  : instantanés de tables interrogeables et mis à jour en permanence.

  • Modifications de télémétrie personnalisées  : Reporters de métriques personnalisés et configurations de télémétrie.

  • Flink Native S3 FileSystem (FLIP-555)  : implémentation du système de fichiers natif S3 (expérimental en open source)

  • ForSt State Backend  : stockage d'état désagrégé (expérimental en open source).

  • Java 21  : support expérimental en open source, non pris en charge dans Managed Service for Apache Flink.

Flink 2.3 dans Amazon Managed Service pour Apache Flink ne prend pas en charge les applications Studio. Pour plus d'informations, voir Création d'un bloc-notes Studio.