本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。 # Amazon Data Firehose 配额 本节介绍 Amazon Data Firehose 中的当前配额（以前称为限制）。除非另行指定，否则每个限额将基于区域应用。 Service Quotas 控制台是一个中心位置，您可以在其中查看和管理 AWS 服务配额，并请求增加您使用的许多资源的配额。使用我们提供的配额信息来管理您的 AWS 基础架构。请根据需要请提前计划以请求提高配额。 有关更多信息，请参阅 Amazon Web Services 一般参考中的 [Amazon Data Firehose endpoints and quotas](https://docs.aws.amazon.com/general/latest/gr/fh.html)。 下一节显示 Amazon Data Firehose 具有以下配额。 + 使用 Amazon MSK 作为 Firehose 流的来源，每个 Firehose 流的默认配额为每个分区 MB/sec 10 的读取吞吐量，最大记录大小为 10MB。 + 如果将 Amazon MSK 作为 Firehose 流的来源，则如果启用 AWS Lambda，则最大记录大小为 6 MB；如果禁用 Lambda，则最大记录大小为 10 MB。 AWS Lambda 将其传入记录上限为 6 MB，Amazon Data Firehose 将超过 6Mb 的记录转发到错误 S3 存储桶。如果禁用 Lambda，Firehose 会将其传入记录限制为 10 MB。如果 Amazon Data Firehose 从 Amazon MSK 收到超过 10 MB 的记录大小，则 Amazon Data Firehose 会将该记录传输​​到 S3 错误存储桶，并向您的账户发出 Cloudwatch 指标。[有关 Lambda 限制的更多信息， AWS 请参阅 Lambda 配额。](https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html) + 在 Firehose 流上启用[动态分区](dynamic-partitioning.md)后，可以为该 Firehose 流创建 500 个活动分区的默认配额。活动分区计数是传输缓冲区内活动分区的总数。例如，如果动态分区查询每秒构造 3 个分区，并且您有一个缓冲区提示配置，每 60 秒触发一次传输，那么平均您将拥有 180 个活动分区。在分区中传输数据后，该分区将不再处于活动状态。如果您需要更多分区，则可以创建更多 Firehose 流，并在这些流之间分配活动分区。 + 在 Firehose 流上启用[动态分区](dynamic-partitioning.md)后，每个活动分区支持的最大吞吐量为每秒 1 GB。 + 每个账户对每个区域的 Firehose 流数量具有以下配额： + 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（俄勒冈州）、欧洲地区（爱尔兰）、亚太地区（东京）：5,000 个 Firehose 流 + 欧洲（法兰克福）、欧洲（伦敦）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（首尔）、亚太地区（孟买）、（美国西部）、加拿大 AWS GovCloud （西部）、加拿大（中部）：2,000 个 Firehose 直播 + 欧洲（巴黎）、欧洲（米兰）、欧洲（斯德哥尔摩）、亚太地区（香港）、亚太地区（大阪）、南美洲（圣保罗）、中国（宁夏）、中国（北京）、中东（巴林）、（美国东部）、非洲（开普敦） AWS GovCloud ：500 个 Firehose 直播 + 欧洲（苏黎世）、欧洲（西班牙）、亚太地区（海得拉巴）、亚太地区（雅加达）、亚太地区（墨尔本）、中东（阿联酋）、以色列（特拉维夫）、加拿大西部（卡尔加里）、加拿大（中部）、亚太地区（马来西亚）、亚太地区（泰国）、墨西哥（中部）：100 个 Firehose 流 + 如果超出此数字，调用 [CreateDeliveryStream](https://docs.aws.amazon.com/firehose/latest/APIReference/API_CreateDeliveryStream.html) 会导致 `LimitExceededException` 异常。要提升此配额，可以使用 [Service Quotas](https://console.aws.amazon.com/servicequotas/)（如果该服务在您的区域可用）。有关使用服务限额的信息，请参阅[请求增加配额](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-increase.html)。 + **将 D** irect PUT 配置为数据源时，每个 Firehose 流为[PutRecord](https://docs.aws.amazon.com/firehose/latest/APIReference/API_PutRecord.html)和[PutRecordBatch](https://docs.aws.amazon.com/firehose/latest/APIReference/API_PutRecordBatch.html)请求提供以下组合配额： + 美国东部（弗吉尼亚北部）、美国西部（俄勒冈）和欧洲（爱尔兰）：500,000 records/second, 2,000 requests/second, and 5 MiB/second。 + 对于其他 AWS 区域：100,000 records/second, 1,000 requests/second, and 1 MiB/second。 如果由于较高的数据摄取量超过 Firehose 流的吞吐能力而导致直接 PUT 流受到节流，则 Amazon Data Firehose 会自动提高流的吞吐量限制，直到节流得到控制。根据吞吐量的增加和节流，Firehose 可能需要更长的时间才能将数据流的吞吐量提高到所需的水平。因此，请继续重试失败的数据摄取记录。如果您预计数据量会突然大幅增加，或者您的新数据流需要的吞吐量比默认吞吐量限制更高，则请求提高吞吐量限制。 这三个配额成比例扩展。例如，如果您将美国东部（弗吉尼亚北部）、美国西部（俄勒冈）或欧洲（爱尔兰）的吞吐量配额增加到 10 MiB/second, the other two quota increase to 4,000 requests/second and 1,000,000 records/second。 **注意** 请勿使用资源级别限制和配额来控制您对服务的使用。 当 Kinesis Data Streams 配置为数据来源时，此配额不适用，Amazon Data Firehose 可无限扩展和缩减。 如果增加的配额远高于运行的流量，这会导致传输到目标的批次很少。从而造成效率低下，并导致目标服务的成本高昂。请确保仅为满足当前运行的流量而增加配额，并在流量增加时进一步提高配额。 数据记录越少，成本越高。[Firehose 摄取定价](https://aws.amazon.com/kinesis/data-firehose/pricing/)基于您发送到服务的数据记录数，乘以每条记录的大小，四舍五入到最接近的 5 KB（5120 字节）。因此，在输入数据量（字节）相同的情况下，如果输入记录的数量越多，产生的成本就会越高。例如，如果传入的总数据量为 5MiB，则与使用 1,000 条记录发送相同数量的数据相比，发送超过 5,000 条记录的 5MiB 数据的成本更高。有关更多信息，请参阅 [AWS Calculator](https://calculator.aws/#/createCalculator) 中的 Amazon Data Firehose。 + 每个 Firehose 流最多可存储 24 小时的数据记录，以防传送目的地不可用且源不可用。 DirectPut如果源是 Kinesis Data Streams（KDS），且目标位置不可用，则数据将根据您的 KDS 配置保留。 + 在进行 base64 编码之前，发送到 Amazon Data Firehose 的记录的最大大小为 1,000 KiB。 + [PutRecordBatch](https://docs.aws.amazon.com/firehose/latest/APIReference/API_PutRecordBatch.html) 操作每次调用可处理 500 条记录或 4 MB，以较小者为准。无法更改此配额。 + 以下每项操作每秒最多可以提供 5 次调用，这是硬性限制。 + [https://docs.aws.amazon.com/firehose/latest/APIReference/API_CreateDeliveryStream.html](https://docs.aws.amazon.com/firehose/latest/APIReference/API_CreateDeliveryStream.html) + [https://docs.aws.amazon.com/firehose/latest/APIReference/API_DeleteDeliveryStream.html](https://docs.aws.amazon.com/firehose/latest/APIReference/API_DeleteDeliveryStream.html) + [https://docs.aws.amazon.com/firehose/latest/APIReference/API_DescribeDeliveryStream.html](https://docs.aws.amazon.com/firehose/latest/APIReference/API_DescribeDeliveryStream.html) + [https://docs.aws.amazon.com/firehose/latest/APIReference/API_ListDeliveryStreams.html](https://docs.aws.amazon.com/firehose/latest/APIReference/API_ListDeliveryStreams.html) + [https://docs.aws.amazon.com/firehose/latest/APIReference/API_UpdateDestination.html](https://docs.aws.amazon.com/firehose/latest/APIReference/API_UpdateDestination.html) + [https://docs.aws.amazon.com/firehose/latest/APIReference/API_TagDeliveryStream.html](https://docs.aws.amazon.com/firehose/latest/APIReference/API_TagDeliveryStream.html) + [https://docs.aws.amazon.com/firehose/latest/APIReference/API_UntagDeliveryStream.html](https://docs.aws.amazon.com/firehose/latest/APIReference/API_UntagDeliveryStream.html) + [https://docs.aws.amazon.com/firehose/latest/APIReference/API_ListTagsForDeliveryStream.html](https://docs.aws.amazon.com/firehose/latest/APIReference/API_ListTagsForDeliveryStream.html) + [https://docs.aws.amazon.com/firehose/latest/APIReference/API_StartDeliveryStreamEncryption.html](https://docs.aws.amazon.com/firehose/latest/APIReference/API_StartDeliveryStreamEncryption.html) + [https://docs.aws.amazon.com/firehose/latest/APIReference/API_StopDeliveryStreamEncryption.html](https://docs.aws.amazon.com/firehose/latest/APIReference/API_StopDeliveryStreamEncryption.html) + 缓冲间隔提示范围：60 秒 - 900 秒。 + 对于从 Amazon Data Firehose 到 Amazon Redshift 的传输，仅支持可公开访问的 Amazon Redshift 集群。 + Amazon Red OpenSearch shift 和服务交付的重试持续时间范围从 0 秒到 7,200 秒不等。 + 当目标为亚马逊 S3、亚马逊 Redshift 或 OpenSearch 服务时，Amazon Data Firehose 允许每个分片最多 5 次未完成的 Lambda 调用。对于 Splunk，配额为每个分片 10 次未完成的 Lambda 调用。 + 您可以使用类型 `CUSTOMER_MANAGED_CMK` 的 CMK 最多加密 500 个 Firehose 流。