Amazon Data Firehose 配额

PDF

RSS

聚焦模式

Amazon Data Firehose 配额 - Amazon Data Firehose

本节介绍 Amazon Data Firehose 中的当前配额（以前称为限制）。除非另行指定，否则每个配额将基于区域应用。

Service Quotas 控制台是一个中心位置，您可以在其中查看和管理 AWS 服务配额，并请求增加您使用的许多资源的配额。使用我们提供的配额信息来管理您的 AWS 基础架构。请根据需要请提前计划以请求提高限额。

有关更多信息，请参阅 Amazon Web Services 一般参考中的 Amazon Data Firehose endpoints and quotas。

下一节显示 Amazon Data Firehose 具有以下配额。

将 Amazon MSK 作为 Firehose 流的源，每个 Firehose 流的默认配额为每个分区读取吞吐量 10 MB/秒，最大记录大小 10 MB。您可以使用服务配额增加来请求增加每个分区 10 MB/秒读取吞吐量的默认配额。
如果将 Amazon MSK 作为 Firehose 流的来源，则如果启用 AWS Lambda，则最大记录大小为 6 MB；如果禁用 Lambda，则最大记录大小为 10 MB。 AWS Lambda 将其传入记录上限为 6 MB，Amazon Data Firehose 将超过 6Mb 的记录转发到错误 S3 存储桶。如果禁用 Lambda，Firehose 会将其传入记录限制为 10 MB。如果 Amazon Data Firehose 从 Amazon MSK 收到超过 10 MB 的记录大小，则 Amazon Data Firehose 会将该记录传输到 S3 错误存储桶，并向您的账户发出 Cloudwatch 指标。有关 AWS Lambda 限制的更多信息，请参阅：https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html。
在 Firehose 流上启用动态分区后，可以为该 Firehose 流创建 500 个活动分区的默认配额。活动分区计数是传输缓冲区内活动分区的总数。例如，如果动态分区查询每秒构造 3 个分区，并且您有一个缓冲区提示配置，每 60 秒触发一次传输，那么平均您将拥有 180 个活动分区。在分区中传输数据后，该分区将不再处于活动状态。您可以使用 Amazon Data Firehose 限制表单请求将此配额增加到每个给定 Firehose 流最多 5000 个活动分区。如果您需要更多分区，则可以创建更多 Firehose 流，并在这些流之间分配活动分区。
在 Firehose 流上启用动态分区后，每个活动分区支持的最大吞吐量为每秒 1 GB。
每个账户对每个区域的 Firehose 流数量具有以下配额：
- 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（俄勒冈州）、欧洲地区（爱尔兰）、亚太地区（东京）：5,000 个 Firehose 流
- 欧洲（法兰克福）、欧洲（伦敦）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（首尔）、亚太地区（孟买）、（美国西部）、加拿大 AWS GovCloud （西部）、加拿大（中部）：2,000 个 Firehose 直播
- 欧洲（巴黎）、欧洲（米兰）、欧洲（斯德哥尔摩）、亚太地区（香港）、亚太地区（大阪）、南美洲（圣保罗）、中国（宁夏）、中国（北京）、中东（巴林）、（美国东部）、非洲（开普敦） AWS GovCloud ：500 个 Firehose 直播
- 欧洲（苏黎世）、欧洲（西班牙）、亚太地区（海得拉巴）、亚太地区（雅加达）、亚太地区（墨尔本）、中东（阿联酋）、以色列（特拉维夫）、加拿大西部（卡尔加里）、加拿大（中部）、亚太地区（马来西亚）、亚太地区（泰国）、墨西哥（中部）：100 Firehose 直播
- 如果超出此数字，调用 CreateDeliveryStream 会导致 LimitExceededException 异常。要提升此配额，可以使用 Service Quotas（如果该服务在您的区域可用）。有关使用服务限额的信息，请参阅请求增加配额。如果您所在的区域没有服务配额，可以使用 Amazon Data Firehose 限制表单请求增加配额。
将 D irect PUT 配置为数据源时，每个 Firehose 流为PutRecord和PutRecordBatch请求提供以下组合配额：
- 美国东部（弗吉尼亚北部）、美国西部（俄勒冈）和欧洲（爱尔兰）：500,000 records/second, 2,000 requests/second, and 5 MiB/second。
- 对于其他 AWS 区域：100,000 records/second, 1,000 requests/second, and 1 MiB/second。
如果由于较高的数据采集量超过 Firehose 流的吞吐容量而导致直接 PUT 流受到限制，则 Amazon Data Firehose 会自动提高流的吞吐量限制，直到限制得到控制。根据吞吐量的增加和限制，Firehose 可能需要更长的时间才能将直播的吞吐量提高到所需的水平。因此，请继续重试失败的数据采集记录。如果您预计数据量会突然大幅增加，或者您的新数据流需要比默认吞吐量限制更高的吞吐量，请请求提高吞吐量限制。

要请求增加配额，请使用 Amazon Data Firehose 限制表单。这三个配额成比例扩展。例如，如果您将美国东部（弗吉尼亚北部）、美国西部（俄勒冈）或欧洲（爱尔兰）的吞吐量配额增加到 10 MiB/second, the other two quota increase to 4,000 requests/second and 1,000,000 records/second。

注意
请勿使用资源级别限制和配额来控制您对服务的使用。

重要
如果增加的配额远高于运行的流量，这会导致传输到目标的批次很少。从而造成效率低下，并导致目标服务的成本高昂。请确保仅为满足当前运行的流量而增加配额，并在流量增加时进一步提高配额。

重要
请注意，数据记录越少，成本越高。Firehose 摄取定价基于您发送到服务的数据记录数，乘以每条记录的大小，四舍五入到最接近的 5 KB（5120 字节）。因此，在输入数据量（字节）相同的情况下，如果输入记录的数量越多，产生的成本就会越高。例如，如果传入的总数据量为 5MiB，则与使用 1,000 条记录发送相同数量的数据相比，发送超过 5,000 条记录的 5MiB 数据的成本更高。有关更多信息，请参阅 AWS Calculator 中的 Amazon Data Firehose。

注意
当 Kinesis Data Streams 配置为数据来源时，此配额不适用，Amazon Data Firehose 可无限扩展和缩减。
每个 Firehose 流最多可存储 24 小时的数据记录，以防传送目的地不可用且源不可用。 DirectPut如果源是 Kinesis Data Streams（KDS），且目标位置不可用，则数据将根据您的 KDS 配置保留。
在进行 base64 编码之前，发送到 Amazon Data Firehose 的记录的最大大小为 1,000 KiB。
PutRecordBatch 操作每次调用可处理 500 条记录或 4 MB，以较小者为准。无法更改此配额。
以下每项操作每秒最多可以提供 5 次调用，这是硬性限制。
缓冲间隔提示范围：60 秒 - 900 秒。
对于从 Amazon Data Firehose 到 Amazon Redshift 的传输，仅支持可公开访问的 Amazon Redshift 集群。
Amazon Red OpenSearch shift 和服务交付的重试持续时间范围从 0 秒到 7,200 秒不等。
Firehose 支持 Elasticsearch 版本 1.5、2.3、5.1、5.3、5.5、5.6 以及所有的 6.*、7.* 和 8.* 版本。Firehose 支持高达 2.11 的亚马逊 OpenSearch 服务 2.x。
当目标为亚马逊 S3、亚马逊 Redshift 或 OpenSearch 服务时，Amazon Data Firehose 允许每个分片最多 5 次未完成的 Lambda 调用。对于 Splunk，配额为每个分片 10 次未完成的 Lambda 调用。
您可以使用类型 CUSTOMER_MANAGED_CMK 的 CMK 最多加密 500 个 Firehose 流。