Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
适用于 Apache Flink 的托管服务现在支持 Apache Flink 版本 1.18.1。了解在 Apache Flink 1.18.1 支持的 Apache Flink 托管服务中引入的主要新功能和变化。
注意
如果您使用的是早期支持的 Apache Flink 版本,并且想要将现有应用程序升级到 Apache Flink 1.18.1,则可以使用就地升级 Apache Flink 版本来实现。通过就地版本升级,您可以针对单个 ARN 在 Apache Flink 版本中保持应用程序的可追溯性,包括快照、日志、指标、标签、Flink 配置等。您可以在 and st READY
ate 中RUNNING
使用此功能。有关更多信息,请参阅 使用 Apache Flink 的就地版本升级。
支持的功能 | 描述 | Apache Flink 文档参考 |
---|---|---|
打开搜索连接器 | 该连接器包括一个提供 at-least-once保障的水槽。 | github:开放搜索连接器 |
亚马逊 DynamoDB 连接器 | 该连接器包括一个提供 at-least-once保障的水槽。 | 亚马逊 DynamoDB 水槽 |
MongoDB 连接器 | 该连接器包括电源和接收器,可提供 at-least-once保障。 | MongoDB 连接器 |
将 Hive 与 Flink 规划器分开 |
您可以直接使用 Hive 方言,无需额外的 JAR 交换。 |
FLINK-26603:将 Hive 与 Flink 规划器分开 |
默认情况下在 Rocks DBWrite BatchWrapper 中禁用 WAL |
这提供了更快的恢复时间。 |
FLINK-32326:默认情况下在 Rocks DBWrite BatchWrapper 中禁用 WAL |
启用水印对齐时提高水印聚合性能 |
提高了启用水印对齐时的水印聚合性能,并添加了相关的基准测试。 |
FLINK-32524:水印聚合性能 |
为生产环境做好水印对齐准备 | 消除了大型作业超负荷的风险 JobManager | FLINK-32548:准备好水印对齐方式 |
可配置 RateLimitingStratey 为异步接收器 |
RateLimitingStrategy 允许您配置缩放内容、何时扩展以及扩展幅度的决定。 |
FLIP-242:引入可配置 RateLimitingStrategy 的异步接收器 |
批量提取表和列统计信息 |
提高了查询性能。 | FLIP-247:批量获取给定分区的表和列统计信息 |
有关 Apache Flink 1.18.1 版本文档,请参阅 A pach
使用 Apache Flink 1.18 的 Apache Flink 的亚马逊托管服务发生了变化
Akka 被 Pekko 取代
在 Apache Flink 1.18 中,Apache Flink 用 Pekko 取代了 Akka。Apache Flink 1.18.1 及更高版本的 Apache Flink 托管服务完全支持这一更改。您无需因此更改而修改您的应用程序。有关更多信息,请参阅 FLINK-32468:用 Pekko 取代 Akka
Supp PyFlink ort 在线程模式下运行时执行
Apache Flink 的这一更改为 Pyflink 运行时框架引入了一种新的执行模式,即进程模式。进程模式现在可以在同一个线程中而不是单独的进程中执行 Python 用户定义的函数。
向后移植的错误修复
适用于 Apache Flink 的亚马逊托管服务 Flink 向后移植了 Flink 社区中针对关键问题的修复程序。这意味着运行时与 Apache Flink 1.18.1 版本不同。以下是我们向后移植的错误修复列表:
Apache Flink JIRA 链接 | 描述 |
---|---|
FLINK-33863 |
此修复解决了压缩快照的状态恢复失败时的问题。 |
FLINK-34063 |
此修复解决了启用快照压缩时源操作员丢失拆分的问题。Apache Flink 为所有检查点和保存点提供可选的压缩(默认:关闭)。Apache Flink 在 Flink 1.18.1 中发现了一个错误,即启用快照压缩后无法正确恢复操作员状态。这可能导致数据丢失或无法从检查点恢复。 |
FLINK-35069 |
此修复解决了 Flink 作业在窗口末尾触发计时器时卡住的问题。 |
FLINK-35097 |
此修复解决了 Table API 文件系统连接器中原始格式的重复记录的问题。 |
FLINK-34379 |
此修复解决了启用动态表筛选 OutOfMemoryError 时出现的问题。 |
FLINK-28693 |
此修复解决了如果水印具有 ColumnBy 表达式,表 API 无法生成图表的问题。 |
FLINK-35217 |
此修复解决了在特定 Flink 任务失败模式下检查点损坏的问题。 |
组件
组件 | 版本 |
---|---|
Java | 11(推荐使用) |
Scala |
从 1.15 版本开始,Flink 与 Scala 无关。作为参考,MSF Flink 1.18已针对Scala 3.3(LTS)进行了验证。 |
适用于 Apache 的托管服务 Flink 运行时 () aws-kinesisanalytics-runtime | 1.2.0 |
AWS Kinesis 连接器 (flink-connector-kinesis) [来源] |
4.2.0-1.18 |
AWS Kinesis 连接器 (flink-connector-kinesis) [水槽] |
4.2.0-1.18 |
Apache Beam(仅限 Beam 应用程序) |
从 2.57.0 版本开始。有关更多信息,请参阅 Flink 版本兼容性 |
已知问题
适用于 Apache Flink Studio 的亚马逊托管服务
Studio 使用 Apache Zeppelin 笔记本为开发、调试代码和运行 Apache Flink 流处理应用程序提供单界面开发体验。齐柏林飞艇的 Flink 解释器需要升级才能支持 Flink 1.18。这项工作由齐柏林飞艇社区安排,我们将在完成后更新这些注意事项。你可以继续将 Flink 1.15 与适用于 Apache Flink Studio 的亚马逊托管服务一起使用。有关更多信息,请参阅创建 Studio 笔记本。
子任务被反压时水印空闲状态不正确
当子任务被反压时,水印生成中存在一个已知问题,该问题已从 Flink 1.19 及更高版本中修复。当 Flink 工作图表受到反压时,这可能会显示为最新记录数量的激增。我们建议您升级到最新的 Flink 版本以获取此修复程序。有关更多信息,请参阅子任务被反压/屏蔽时水印空闲超时记账不正确