从 Amazon Kinesis Data Streams 读取数据 - Amazon Kinesis Data Streams

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

从 Amazon Kinesis Data Streams 读取数据

消费端 是一种处理 Kinesis 数据流中所有数据的应用程序。当消费端使用增强型扇出功能 时,它会获取其自己的 2 MB/秒的读取吞吐量配额,从而允许多个消费端并行读取相同流中的数据,而不必与其他消费端争用读取吞吐量。要使用分片的增强型扇出功能,请参阅开发具有专用吞吐量的自定义消费者(增强的扇出)

默认情况下,流中的每个分片均提供 2 MB/秒的读取吞吐量。此吞吐量跨正在从某给定分片进行读取的所有消费端获取分片。换言之,每个分片的默认 2 MB/秒的吞吐量是固定的,即使有多个消费端正在从分片中进行读取。要使用分片的此默认吞吐量,请参阅开发具有共享吞吐量的自定义消费者

下表将默认吞吐量与增强型扇出功能进行比较。消息传播延迟定义为使用负载调度(如和)发送的有效负载通过消耗负载(如和)到达使用者应用程序所花费的时间APIs(如 PutRecord 和 PutRecords),以毫秒为单位。APIs GetRecords SubscribeToShard

特性 没有增强型扇出功能的未注册消费端 具有增强型扇出功能的注册消费端
分片读取吞吐量 每个分片的 2MB/秒总吞吐量是固定的。如果有多个消费端正在从同一分片进行读取,则它们将全部共享此吞吐量。它们从分片中接收的吞吐量总和不会超出 2 MB/秒。 随着消费端注册进行扩展以使用增强型扇出功能。注册为使用增强型扇出功能的每个消费端均接收其自己的每个分片的读取吞吐量,最多 2MB/秒,独立于其他消费端。
消息传播延迟 平均约 200 毫秒(如果您有一个从流中读取的消费端)。如果您有五个消费端,则这个平均值高达约 1000 毫秒。 通常情况下,平均为 70 毫秒,无论您是拥有一个消费端,还是五个消费端。
费用 不适用 存在数据检索费用和消费端分片小时费用。有关更多信息,请参阅 Amazon Kinesis Data Streams 定价
记录传输模型 HTTP使用将模型拉过来GetRecords Kinesis Data Streams 使用/SubscribeToShard2 将记录推送给你HTTP。