选择您的 Cookie 首选项

我们使用必要 Cookie 和类似工具提供我们的网站和服务。我们使用性能 Cookie 收集匿名统计数据,以便我们可以了解客户如何使用我们的网站并进行改进。必要 Cookie 无法停用,但您可以单击“自定义”或“拒绝”来拒绝性能 Cookie。

如果您同意,AWS 和经批准的第三方还将使用 Cookie 提供有用的网站功能、记住您的首选项并显示相关内容,包括相关广告。要接受或拒绝所有非必要 Cookie,请单击“接受”或“拒绝”。要做出更详细的选择,请单击“自定义”。

将 Apache Flink 连接器与托管服务一起使用 Apache Flink

聚焦模式
将 Apache Flink 连接器与托管服务一起使用 Apache Flink - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Apache Flink 连接器是将数据移入和移出适用于 Apache Flink 的亚马逊托管服务应用程序的软件组件。连接器是灵活的集成,允许您从文件和目录中读取。连接器包含用于与 Amazon 服务和第三方系统交互的完整模块。

连接器类型包括:

  • 来源:向您的应用程序提供来自 Kinesis 数据流、文件、Apache Kafka 主题、文件或其他数据源的数据。

  • 接收器:将数据从您的应用程序发送到 Kinesis 数据流、Firehose 流、Apache Kafka 主题或其他数据目的地。

  • 异步 I/O:提供对数据库等数据源的异步访问以丰富流。

Apache Flink 连接器存储在它们自己的源代码库中。Apache Flink 连接器的版本和工件会根据你使用的 Apache Flink 版本以及你使用的是 DataStream、表还是 SQL API 而变化。

适用于 Apache Flink 的亚马逊托管服务 Flink 支持 40 多个预先构建的 Apache Flink 源和接收器连接器。下表汇总了最受欢迎的连接器及其相关版本。您也可以使用 Async-Sink 框架构建自定义接收器。有关更多信息,请参阅 Apache Flink 文档中的通用异步基础接收器

要访问 Apache Flink AWS 连接器的存储库,请参阅。flink-connector-aws

适用于 Flink 版本的连接器
Connector Flink 版本 1.15 Flink 版本 1.18 Flink 版本 1.19 Flink 版本 1.20
Kinesis 数据流-来源- DataStream 和表 API flink-connector-kinesis,1.15.4 flink-connector-kinesis,4.3.0-1.18 flink-connector-kinesis,5.0.0-1.19 flink-connector-kinesis,5.0.0-1.20
Kinesis 数据流-接收器- DataStream 和表 API flink-connector-aws-kinesis-streams,1.15.4 flink-connector-aws-kinesis-streams,4.3.0-1.18 flink-connector-aws-kinesis-streams,5.0.0-1.19 flink-connector-aws-kinesis-streams,5.0.0-1.20
Kinesis Data Streams-Source/Sink-SQL flink-sql-connector-kinesis,1.15.4 flink-sql-connector-kinesis,4.3.0-1.18 flink-sql-connector-kinesis,5.0.0-1.19 flink-sql-connector-kinesis-streams,5.0.0-1.20
Kafka-and DataStream Table API flink-connector-kafka,1.15.4 flink-connector-kafka,3.2.0-1.18 flink-connector-kafka,3.3.0-1.19 flink-connector-kafka,3.3.0-1.20
Kafka-SQL flink-sql-connector-kafka,1.15.4 flink-sql-connector-kafka,3.2.0-1.18 flink-sql-connector-kafka,3.3.0-1.19 flink-sql-connector-kafka,3.3.0-1.20
Firehose-and Table DataStream API flink-connector-aws-kinesis-firehose,1.15.4 flink-connector-aws-firehose,4.3.0-1.18 flink-connector-aws-firehose,5.0.0-1.19 flink-connector-aws-firehose,5.0.0-1.20
Firehose-SQL flink-sql-connector-aws-kinesis-firehose,1.15.4 flink-sql-connector-aws-firehose,4.3.0-1.18 flink-sql-connector-aws-firehose,5.0.0-1.19 flink-sql-connector-aws-firehose,5.0.0-1.20
DynamoDB DataStream -和表 API flink-connector-dynamodb,3.0.0-1.15 flink-connector-dynamodb,4.3.0-1.18 flink-connector-dynamodb,5.0.0-1.19 flink-connector-dynamodb,5.0.0-1.20
DynamoDB-SQL flink-sql-connector-dynamodb,3.0.0-1.15 flink-sql-connector-dynamodb,4.3.0-1.18 flink-sql-connector-dynamodb,5.0.0-1.19 flink-sql-connector-dynamodb,5.0.0-1.20
OpenSearch - DataStream 还有表格 API - flink-connector-opensearch,1.2.0-1.18 flink-connector-opensearch,1.2.0-1.19 flink-connector-opensearch,1.2.0-1.19
OpenSearch -SQL - flink-sql-connector-opensearch,1.2.0-1.18 flink-sql-connector-opensearch,1.2.0-1.19 flink-sql-connector-opensearch,1.2.0-1.19
适用于 Prometheus 的亚马逊托管服务 DataStream - flink-sql-connector-opensearch,1.2.0-1.18 flink-connector-prometheus,1.0.0-1.19 flink-connector-prometheus,1.0.0-1.20
亚马逊 SQS DataStream 和表 API - flink-sql-connector-opensearch,1.2.0-1.18 flink-connector-sqs,5.0.0-1.19 flink-connector-sqs,5.0.0-1.20

要详细了解适用于 Apache Flink 的亚马逊托管服务中的连接器,请参阅:

已知问题

Apache Flink 1.15 中的 Apache Kafka 连接器存在已知的开源 Apache Flink 问题。此问题已在更高版本的 Apache Flink 中得到解决。

有关更多信息,请参阅 已知问题

本页内容

隐私网站条款Cookie 首选项
© 2025, Amazon Web Services, Inc. 或其附属公司。保留所有权利。