使用连接器在 Apache Flink 托管服务中移动 Flink 中的数据 DataStream API - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用连接器在 Apache Flink 托管服务中移动 Flink 中的数据 DataStream API

在适用于 Apache Flink 的亚马逊托管服务中 DataStream API,连接器是将数据移入和移出适用于 Apache Flink 的托管服务应用程序的软件组件。连接器是灵活集成的组件,以使您能够读取文件和目录。连接器包含用于与 Amazon 服务和第三方系统交互的完整模块。

连接器类型包括:

  • 添加流数据源:从 Kinesis 数据流、文件或其他数据源中向应用程序提供数据。

  • 使用接收器写入数据:将数据从您的应用程序发送到 Kinesis 数据流、Firehose 流或其他数据目标。

  • 使用异步 I/O:提供对数据源(例如数据库)的异步访问以丰富流事件。

可用的连接器

Apache Flink 框架包含用于从各种源中访问数据的连接器。有关 Apache Flink 框架中可用的连接器的信息,请参阅 Apache Flink 文档中的连接器

警告

如果您的应用程序在 Flink 1.6、1.8、1.11 或 1.13 上运行,并且想要在中东 (UAE)、亚太地区(海得拉巴)、以色列(特拉维夫)、欧洲(苏黎世)、中东(UAE)、亚太地区(墨尔本)或亚太地区(雅加达)地区运行,则可能需要使用更新的连接器重建应用程序存档或升级到 Flink 1.18。

Apache Flink 连接器存储在它们自己的开源存储库中。如果您要升级到 1.18 或更高版本,则必须更新依赖项。要访问 Apache Flink AWS 连接器的存储库,请参阅。flink-connector-aws

以下是推荐的指导方针:

连接器升级
Flink 版本 使用的连接器 解决方案
1.15 EFO

升级到适用于 Apache Flink 的 Apache Flink 1.15 版的亚马逊托管服务时,请确保使用的是最新的连接器。EFO那必须是 1.15.3 或更高版本的任何版本。有关更多信息,请参阅:

FLINK-29324

1.15 亚马逊 Data Firehose Sink

升级到 Apache Flink 版 1.15 版的亚马逊托管服务时,请确保使用的是最新的亚马逊 Data Firehose Sink。

亚马逊 Data Firehose Sink

1.15 Kafka 连接器

升级到适用于 Apache Flink 的 Apache Flink 1.15 版的亚马逊托管服务时,请确保使用的是最新的 Kafka 连接器。APIsApache Flink 已弃用和FlinkKafkaConsumerFlinkKafkaProducer这些 APIs Kafka sink 无法在 Flink 1.15 中提交给 Kafka。请确保您使用的是KafkaSourceKafkaSink

1.6-1.13 Firehose

您的应用程序依赖于过时版本的 Firehose 连接器,该版本无法识别较新的 AWS 区域。使用 Firehose 连接器版本 2.1.0 重建您的应用程序档案。

v2.1.0

1.8 Kinesis

您的应用程序依赖于 Flink Kinesis 连接器的过时版本,该连接器无法识别较新的区域。 AWS 使用 Flink Kinesis 连接器版本 1.6.1 重建您的应用程序存档。

https://github.com/awslabs/amazon-kinesis-connector-flink/tree/1.6.1

1.11 Kinesis

您的应用程序依赖于 Flink Kinesis 连接器的过时版本,该连接器无法识别较新的区域。 AWS 使用 Flink Kinesis Connector 版本 2.4.1 重建您的应用程序档案。

https://github.com/awslabs/amazon-kinesis-connector-flink/tree/2.4.1

1.6 和 1.13 Kinesis

您的应用程序依赖于 Flink Kinesis 连接器的过时版本,该连接器无法识别较新的区域。 AWS 不幸的是,Flink 不再发布 1.6/1.13 连接器的补丁或错误修复。我们建议通过使用 Flink 1.15 重建应用程序存档来更新到 Flink 1.15。