本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
适用于 Apache Flink 2.3 的亚马逊托管服务
Apache Flink 的托管服务现在支持 Apache Flink 版本 2.3.0。本节向您介绍在 Apache Flink 2.3.0 的支持 Flink 的 Managed Service for Apache Flink 中引入的关键新功能和更改。
注意
如果你使用的是早期支持的Apache Flink版本并想将现有的应用程序升级到Apache Flink 2.3.0,则可以使用就地升级Apache Flink版本来实现。有关更多信息,请参阅 使用 Apache Flink 的就地版本升级。通过就地版本升级,您可以针对单个 ARN 在 Apache Flink 版本中保持应用程序的可追溯性,包括快照、日志、指标、标签、Flink 配置等。
注意
从 Flink 1.x 升级到 Flink 2.3 是一次重大版本升级,其中包含重大更改和状态兼容性方面的考虑。从 1.x 升级之前,请查看重大更改和弃用和。Flink 2.2 升级的状态兼容性指南
支持的功能
Apache Flink 2.3.0 引入了对 SQL API、偏斜工作负载的自适应分区选择以及 Flink 仪表板的改进。
支持的功能 |
说明 |
Apache Flink 文档参考 |
|---|---|---|
改善 SinkUpsertMaterializer 和变更日志障碍 |
改进了将 CDC 或变更日志流写入 upsert sinks 时的更新顺序。 |
|
应用程序管理读取 API |
新的只读端点,可实现应用程序级可观测性。在 Apache Flink 的亚马逊托管服务中禁用了写入终端节点。 |
|
的自适应分区选择 StreamPartitioner |
Opt-in 对倾斜 |
注意
您可以通过提交支持案例
Opt-in features |
说明 |
Apache Flink 文档参考 |
|---|---|---|
恢复期间的支持检查点 |
默认情况下,此功能处于禁用状态,因为它是开源中的实验性功能。您可以使用支持案例请求为您的应用程序启用它。 |
有关 Apache Flink 2.3.0 版本文档,请参阅 Apache Flink 文档 v2.3.0。
使用 Apache Flink 2.3 对适用于 Apache Flink 的亚马逊托管服务的更改
保留默认水印对齐方式
Apache Flink 2.3 更改了水印对齐的默认行为,以防止积压的任务消耗所有下游资源。在适用于 Apache Flink 的亚马逊托管服务中,默认值设置pipeline.watermark-alignment.max-drift为,0以保持与早期支持的Apache Flink版本的向后兼容性,并保护您的现有应用程序在升级时免受行为回归的影响。如果您想要新的公平行为,可以通过在应用程序代码中pipeline.watermark-alignment.max-drift以编程方式进行设置来选择加入。有关更多信息,请参阅 FLINK-37399:水印对齐可防止积压的作业使用所有资源
组件
组件 |
版本 |
|---|---|
Java |
17(推荐) |
Python |
3.12 |
Kinesis Data Analytics Flink 运行时(aws-kinesisanalytics-runtime) |
1.2.0 |
连接器 |
有关可用连接器的信息,请参阅 Apache Flink 连接器。 |
不支持的实验性功能
适用于 Apache Flink 的亚马逊托管服务不支持以下 Apache Flink 2.3 功能:
物化表:持续维护的可查询表快照。
自定义遥测更改:自定义指标报告器和遥测配置。
-
Flink Native S3 FileSystem (FLIP-555):原生 S3 文件系统实现(开源实验版)
-
ForSt 状态后端:分解状态存储(在开源中处于实验阶段)。
-
Java 21:开源中的实验性支持,Apache Flink 的托管服务不支持。
Amazon Managed Service for Apache Flink Studio
适用于 Apache 的亚马逊托管服务 Flink 中的 Flink 2.3 不支持 Studio 应用程序。有关更多信息,请参阅创建 Studio 笔记本。