View a markdown version of this page

适用于 Apache Flink 2.3 的亚马逊托管服务 - Managed Service for Apache Flink

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

适用于 Apache Flink 2.3 的亚马逊托管服务

适用于 Apache Flink 的托管服务现在支持 Apache Flink 版本 2.3.0。本节向您介绍在 Apache Flink 2.3.0 支持的 Apache Flink 托管服务中引入的关键新功能和更改。

注意

如果您使用的是早期支持的 Apache Flink 版本,并且想要将现有应用程序升级到 Apache Flink 2.3.0,则可以使用就地升级 Apache Flink 版本来实现。有关更多信息,请参阅 使用 Apache Flink 的就地版本升级。通过就地版本升级,您可以针对单个 ARN 在 Apache Flink 版本中保持应用程序的可追溯性,包括快照、日志、指标、标签、Flink 配置等。

注意

从 Flink 1.x 升级到 Flink 2.3 是一次主要版本升级,需要考虑重大更改和状态兼容性。从 1.x 升级之前,请查看重大更改和弃用和。Flink 2.2 升级的状态兼容性指南

Apache Flink 2.3.0 在 SQL API、倾斜工作负载的自适应分区选择和 Flink 仪表板方面进行了改进。

支持的功能和相关文档

支持的功能

说明

Apache Flink 文档参考

改进 SinkUpsertMaterializer 和变更日志障碍

改进了写入 CDC 或变更日志流以更新接收器时的更新顺序。

FLIP-558: 改进 SinkUpsertMaterializer 和变更日志障碍

应用程序管理读取 API

新的只读端点,用于实现应用程序级可观测性。Apache Flink 的亚马逊托管服务中已禁用写入端点。

FLIP-549: 应用程序管理, FLIP-560: 应用程序管理能力增强

的自适应分区选择 StreamPartitioner

Opt-in 偏斜RebalanceRescale分区器的吞吐量优化。默认情况下处于禁用状态;使用启用taskmanager.network.adaptive-partitioner.enabled

FLIP-339: 自适应分区选择 StreamPartitioner

注意

您可以通过提交支持案例来选择加入以下功能:

Opt-in 功能和相关文档

Opt-in features

说明

Apache Flink 文档参考

恢复期间的 Support 检查点

默认情况下,此功能处于禁用状态,因为它是开源中的一项实验性功能。您可以使用支持案例请求为您的应用程序启用它。

FLIP-547: 恢复期间的 Support 检查点

有关 Apache Flink 2.3.0 版本文档,请参阅 A pach e Flink 文档 v2.3.0。有关 Flink 2.3 版本说明,请参阅发行说明-Flink 2.3。

Apache Flink 2.3 更改了水印对齐的默认行为,以防止积压的作业消耗所有下游资源。在适用于 Apache Flink 的亚马逊托管服务中,默认值设置pipeline.watermark-alignment.max-drift为,0以保持与早期支持的 Apache Flink 版本的向后兼容性,并保护您的现有应用程序在升级时免受行为倒退的影响。如果你想要新的公平行为,你可以通过在应用程序代码中pipeline.watermark-alignment.max-drift以编程方式进行设置来选择加入。有关更多信息,请参阅 FLINK-37399:水印对齐可防止积压的作业占用所有资源

适用于 Apache Flink 2.3 的亚马逊托管服务的组件

组件

版本

Java

17(推荐使用)

Python

3.12

Kinesis Data Analytics Flink 运行时(aws-kinesisanalytics-runtime)

1.2.0

连接器

有关可用连接器的信息,请参阅 Apache Flink 连接器

适用于 Apache Flink 的亚马逊托管服务不支持以下 Apache Flink 2.3 功能:

  • 物化表:持续维护、可查询的表快照。

  • 自定义遥测更改:自定义指标报告器和遥测配置。

  • Flink Native S3 FileSystem (FLIP-555):原生 S3 文件系统实现(开源实验版)

  • ForSt 状态后端:分解状态存储(开源实验版)。

  • Java 21:开源中的实验性支持,Apache Flink 托管服务不支持。

适用于 Apache Flink 的亚马逊托管服务中的 Flink 2.3 不支持 Studio 应用程序。有关更多信息,请参阅创建 Studio 笔记本