本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
开发具有专用吞吐量的增强扇出型消费端
在 Amazon Kinesis Data Streams 中,可以构建使用增强型扇出功能的消费端。利用此功能,消费端可以从流中接收记录,其数据吞吐量高达每分片 2 MB/秒。此为专用吞吐量,这意味着,使用增强型扇出功能的消费端不必与接收流中数据的其他消费端争夺。Kinesis Data Streams 将流中的数据记录推送到使用增强型扇出功能的消费端。因此,这些消费端无需轮询数据。
重要
在 On-demand 优势模式下,您每次直播最多可以注册 50 名消费者,以使用增强版粉丝分享。使用 On-demand 标准和预置直播,您最多可以为每个直播注册 20 个消费者,以使用增强型扇出功能。
下图显示的是增强型扇出功能架构。如果使用 2.0 版或更高版本的 Amazon Kinesis Client Library(KCL)构建消费端,则 KCL 会将消费端设置为使用增强型扇出功能接收来自流的所有分片的数据。如果使用 API 构建使用增强型扇出功能的消费端,则可订阅单个分片。
此图显示以下内容:
-
一个具有两个分片的流。
-
使用增强型扇出功能接收流中数据的两个消费端:消费端 X 和消费端 Y。这两个消费端均已订阅流的所有分片和所有记录。如果使用 2.0 版或更高版本的 KCL 构建消费端,则 KCL 将自动为消费端订阅流的所有分片。另一方面,如果使用 API 构建消费端,则可订阅单个分片。
-
表示消费端用于接收流中数据的增强型扇出功能管道的箭头。增强型扇出管道可为每个分片提供多达 2 MB/sec 个数据,与任何其他管道或消费者总数无关。
共享吞吐量消费端和增强扇出型消费端之间的区别
下表将默认共享吞吐量与增强型扇出型消费端进行比较。消息传播延迟被定义为使用有效载荷调度 API(如 PutRecord 和 PutRecords)发送的有效载荷通过有效载荷消耗 API(如 GetRecords 和 SubscribeToShard)到达消费端应用程序所花费的时间(以毫秒为单位)。
| 特性 | 无增强扇出功能的共享吞吐量消费端 | 增强扇出型消费端 |
|---|---|---|
| 读取吞吐量 |
固定为每个分片总共 MB/sec 有 2 个。如果有多个消费端正在从同一分片进行读取,则它们将全部共享此吞吐量。他们从分片获得的吞吐量总和不超过 2。 MB/sec |
随着消费端注册进行扩展以使用增强型扇出功能。每个注册使用增强型扇出功能的使用者都会获得每个分片自己的读取吞吐量,最多 2 个 MB/sec,独立于其他使用者。 |
| 消息传播延迟 |
平均约 200 毫秒(如果您有一个从流中读取的消费端)。如果您有五个消费端,则这个平均值高达约 1000 毫秒。 |
通常情况下,平均为 70 毫秒,无论您是拥有一个消费端,还是五个消费端。 |
| 成本 | 不适用 |
存在数据检索费用和消费端分片小时费用。有关更多信息,请参阅 Amazon Kinesis Data Streams 定价 |
| 记录传输模型 |
使用在 HTTP 上提取模型 GetRecords。 |
Kinesis 数据流通过使用向您推 HTTP/2 送记录。 SubscribeToShard |
支持最多 50 个增强型扇出消费者的区域(仅限 On-demand Advantage)
在 On-demand 优势模式下最多支持 50 个增强型扇出消费者,仅在以下 AWS 地区可用:
| AWS 区域 | 区域名称 |
|---|---|
|
eu-north-1 |
欧洲地区(斯德哥尔摩) |
|
me-south-1 |
中东(巴林) |
|
mx-central-1 |
墨西哥(中部) |
|
ap-south-1 |
亚太地区(孟买) |
|
eu-west-3 |
欧洲地区(巴黎) |
|
ap-southeast-3 |
亚太地区(雅加达) |
|
us-east-2 |
美国东部(俄亥俄州) |
|
af-south-1 |
非洲(开普敦) |
|
eu-west-1 |
欧洲地区(爱尔兰) |
|
me-central-1 |
中东(阿联酋): |
|
eu-central-1 |
欧洲地区(法兰克福) |
|
sa-east-1 |
南美洲(圣保罗) |
|
ap-east-1 |
亚太地区(香港) |
|
ap-east-2 |
亚太地区(台北) |
|
ap-south-2 |
亚太地区(海得拉巴) |
|
us-east-1 |
美国东部(弗吉尼亚州北部) |
|
ap-northeast-2 |
亚太地区(首尔) |
|
ap-northeast-3 |
亚太地区(大阪) |
|
eu-west-2 |
欧洲地区(伦敦) |
|
ap-southeast-4 |
亚太地区(墨尔本) |
|
ap-southeast-5 |
亚太地区(马来西亚) |
|
ap-southeast-6 |
亚太地区(新西兰) |
|
ap-southeast-7 |
亚太地区(泰国) |
|
ap-northeast-1 |
亚太地区(东京) |
|
us-west-2 |
美国西部(俄勒冈州) |
|
us-west-1 |
美国西部(北加利福尼亚) |
|
ap-southeast-1 |
亚太地区(新加坡) |
|
ap-southeast-2 |
亚太地区(悉尼) |
|
il-central-1 |
以色列(特拉维夫) |
|
ca-central-1 |
加拿大(中部) |
|
ca-west-1 |
加拿大西部(卡尔加里) |
|
eu-south-2 |
欧洲(西班牙) |
|
eu-south-1 |
欧洲地区(米兰) |
|
cn-northwest-1 |
中国(宁夏) |
|
eu-central-2 |
欧洲(苏黎世) |
| us-gov-east-1 | AWS GovCloud (US-East) |
| us-gov-west-1 | AWS GovCloud (US-West) |