选择您的 Cookie 首选项

我们使用必要 Cookie 和类似工具提供我们的网站和服务。我们使用性能 Cookie 收集匿名统计数据,以便我们可以了解客户如何使用我们的网站并进行改进。必要 Cookie 无法停用,但您可以单击“自定义”或“拒绝”来拒绝性能 Cookie。

如果您同意,AWS 和经批准的第三方还将使用 Cookie 提供有用的网站功能、记住您的首选项并显示相关内容,包括相关广告。要接受或拒绝所有非必要 Cookie,请单击“接受”或“拒绝”。要做出更详细的选择,请单击“自定义”。

适用于 Apache Flink 1.18 的亚马逊托管服务

聚焦模式
适用于 Apache Flink 1.18 的亚马逊托管服务 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

适用于 Apache Flink 的托管服务现在支持 Apache Flink 版本 1.18.1。了解在 Apache Flink 1.18.1 支持的 Apache Flink 托管服务中引入的主要新功能和变化。

注意

如果您使用的是早期支持的 Apache Flink 版本,并且想要将现有应用程序升级到 Apache Flink 1.18.1,则可以使用就地升级 Apache Flink 版本来实现。通过就地版本升级,您可以针对单个 ARN 在 Apache Flink 版本中保持应用程序的可追溯性,包括快照、日志、指标、标签、Flink 配置等。您可以在 and st READY ate 中RUNNING使用此功能。有关更多信息,请参阅 使用 Apache Flink 的就地版本升级

Apache Flink 文档参考中支持的功能
支持的功能 描述 Apache Flink 文档参考
打开搜索连接器 该连接器包括一个提供 at-least-once保障的水槽。 github:开放搜索连接器
亚马逊 DynamoDB 连接器 该连接器包括一个提供 at-least-once保障的水槽。 亚马逊 DynamoDB 水槽
MongoDB 连接器 该连接器包括电源和接收器,可提供 at-least-once保障。 MongoDB 连接器
将 Hive 与 Flink 规划器分开

您可以直接使用 Hive 方言,无需额外的 JAR 交换。

FLINK-26603:将 Hive 与 Flink 规划器分开
默认情况下在 Rocks DBWrite BatchWrapper 中禁用 WAL

这提供了更快的恢复时间。

FLINK-32326:默认情况下在 Rocks DBWrite BatchWrapper 中禁用 WAL

启用水印对齐时提高水印聚合性能

提高了启用水印对齐时的水印聚合性能,并添加了相关的基准测试。

FLINK-32524:水印聚合性能
为生产环境做好水印对齐准备 消除了大型作业超负荷的风险 JobManager FLINK-32548:准备好水印对齐方式

可配置 RateLimitingStratey 为异步接收器

RateLimitingStrategy 允许您配置缩放内容、何时扩展以及扩展幅度的决定。

FLIP-242:引入可配置 RateLimitingStrategy 的异步接收器

批量提取表和列统计信息

提高了查询性能。 FLIP-247:批量获取给定分区的表和列统计信息

有关 Apache Flink 1.18.1 版本文档,请参阅 A pach e Flink 1.18.1 发布公告。

Akka 被 Pekko 取代

在 Apache Flink 1.18 中,Apache Flink 用 Pekko 取代了 Akka。Apache Flink 1.18.1 及更高版本的 Apache Flink 托管服务完全支持这一更改。您无需因此更改而修改您的应用程序。有关更多信息,请参阅 FLINK-32468:用 Pekko 取代 Akka

Supp PyFlink ort 在线程模式下运行时执行

Apache Flink 的这一更改为 Pyflink 运行时框架引入了一种新的执行模式,即进程模式。进程模式现在可以在同一个线程中而不是单独的进程中执行 Python 用户定义的函数。

向后移植的错误修复

适用于 Apache Flink 的亚马逊托管服务 Flink 向后移植了 Flink 社区中针对关键问题的修复程序。这意味着运行时与 Apache Flink 1.18.1 版本不同。以下是我们向后移植的错误修复列表:

向后移植的错误修复
Apache Flink JIRA 链接 描述
FLINK-33863 此修复解决了压缩快照的状态恢复失败时的问题。
FLINK-34063 此修复解决了启用快照压缩时源操作员丢失拆分的问题。Apache Flink 为所有检查点和保存点提供可选的压缩(默认:关闭)。Apache Flink 在 Flink 1.18.1 中发现了一个错误,即启用快照压缩后无法正确恢复操作员状态。这可能导致数据丢失或无法从检查点恢复。
FLINK-35069 此修复解决了 Flink 作业在窗口末尾触发计时器时卡住的问题。
FLINK-35097 此修复解决了 Table API 文件系统连接器中原始格式的重复记录的问题。
FLINK-34379 此修复解决了启用动态表筛选 OutOfMemoryError 时出现的问题。
FLINK-28693 此修复解决了如果水印具有 ColumnBy 表达式,表 API 无法生成图表的问题。
FLINK-35217 此修复解决了在特定 Flink 任务失败模式下检查点损坏的问题。
组件 版本
Java 11(推荐使用)
Scala

从 1.15 版本开始,Flink 与 Scala 无关。作为参考,MSF Flink 1.18已针对Scala 3.3(LTS)进行了验证。

适用于 Apache 的托管服务 Flink 运行时 () aws-kinesisanalytics-runtime 1.2.0
AWS Kinesis 连接器 (flink-connector-kinesis) [来源] 4.2.0-1.18
AWS Kinesis 连接器 (flink-connector-kinesis) [水槽] 4.2.0-1.18
Apache Beam(仅限 Beam 应用程序)

从 2.57.0 版本开始。有关更多信息,请参阅 Flink 版本兼容性

适用于 Apache Flink Studio 的亚马逊托管服务

Studio 使用 Apache Zeppelin 笔记本为开发、调试代码和运行 Apache Flink 流处理应用程序提供单界面开发体验。齐柏林飞艇的 Flink 解释器需要升级才能支持 Flink 1.18。这项工作由齐柏林飞艇社区安排,我们将在完成后更新这些注意事项。你可以继续将 Flink 1.15 与适用于 Apache Flink Studio 的亚马逊托管服务一起使用。有关更多信息,请参阅创建 Studio 笔记本

子任务被反压时水印空闲状态不正确

当子任务被反压时,水印生成中存在一个已知问题,该问题已从 Flink 1.19 及更高版本中修复。当 Flink 工作图表受到反压时,这可能会显示为最新记录数量的激增。我们建议您升级到最新的 Flink 版本以获取此修复程序。有关更多信息,请参阅子任务被反压/屏蔽时水印空闲超时记账不正确

隐私网站条款Cookie 首选项
© 2025, Amazon Web Services, Inc. 或其附属公司。保留所有权利。