为 Amazon Kinesis Data Streams 配置源设置 - Amazon Data Firehose

将 Amazon Data Firehose 流传输到亚马逊 S3 中的 Apache Iceberg Tables 处于预览阶段,可能会发生变化。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

为 Amazon Kinesis Data Streams 配置源设置

按如下方式配置 Amazon Kinesis Data Streams 的源设置,以向 Firehose 流发送信息。

重要

如果您使用 Kinesis Producer 库 (KPL) 将数据写入 Kinesis 数据流,则可以使用聚合来合并写入该 Kinesis 数据流的记录。如果您随后使用该数据流作为 Firehose 数据流的来源,Amazon Data Firehose 会在将记录传送到目标之前对其进行解聚处理。如果您将 Firehose 流配置为转换数据,Amazon Data Firehose 会在将记录传送到之前对其进行解聚处理 AWS Lambda。 有关更多信息,请参阅使用 Kinesis 创建器库和聚合开发 Amazon Kinesis 数据流生成器。

源设置下,在 Kinesis 数据流列表中选择现有流,或输入格式为的数据流ARN。arn:aws:kinesis:[Region]:[AccountId]:stream/[StreamName]

如果您没有现有的数据流,请选择 “创建”,从 Amazon Kinesis 控制台创建一个新的数据流。你可能需要一个在 Kinesis 直播中拥有必要权限的IAM角色。有关更多信息,请参阅 授予 Firehose 访问亚马逊 S3 目的地的权限。创建新直播后,选择刷新图标以更新 Kinesis 直播列表。如果您有大量的流,可使用 Filter by name 筛选列表。

注意

当您将 Kinesis 数据流配置为 Firehose 流的源时,亚马逊数据 Firehose 和操作将被禁用。PutRecord PutRecordBatch在这种情况下,要将数据添加到你的 Firehose 流中,请使用 Kinesis Data Streams 和操作。PutRecord PutRecords

Amazon Data Firehose 开始从你的 Kinesis LATEST 直播的位置读取数据。有关 Kinesis Data Streams 位置的更多信息,GetShardIterator请参阅。

Amazon Data Firehose 每秒为每个分片调用 Kinesis Data Streams GetRecords操作一次。但是,启用完整备份后,Firehose 会每秒对每个分片调用 Kinesis Data Streams GetRecords 操作两次,一次用于主传输目标,另一次用于完整备份。

可以从同一 Kinesis 直播中读取多个 Firehose 直播。其他 Kinesis 应用程序(使用者)也可以从同一个流中读取。来自任何 Firehose 直播或其他消费者应用程序的每次调用都计入分片的总体限制限制。为了避免受限,请小心计划您的应用程序。有关 Kinesis Data Streams 限制的更多信息,请参阅 Amazon Kinesis Streams 限制

继续执行下一步以配置记录转换和格式转换。