Amazon Data Firehose 配額

PDF

RSS

焦點模式

Amazon Data Firehose 配額 - Amazon Data Firehose

本節說明 Amazon Data Firehose 內目前配額，先前稱為限制。各項配額除非另有說明，否則都是區域特定規定。

Service Quotas 主控台是一個集中位置，您可以在其中檢視和管理 AWS 服務的配額，並請求增加您使用的許多資源配額。使用我們提供的配額資訊來管理您的 AWS 基礎設施。計劃在您需要的時候，先行請求提高配額。

如需詳細資訊，請參閱《》中的 Amazon Data Firehose 端點和配額 Amazon Web Services 一般參考。

下一節顯示 Amazon Data Firehose 具有下列配額。

使用 Amazon MSK 做為 Firehose 串流的來源，每個 Firehose 串流的預設配額為每個分割區 10 MB/秒的讀取輸送量，以及 10MB 的最大記錄大小。您可以使用服務配額增加，請求提高每個分割區 10 MB/秒讀取輸送量的預設配額。
使用 Amazon MSK 做為 Firehose 串流的來源時，如果 AWS Lambda 已啟用，則記錄大小上限為 6 MB，如果 Lambda 停用，則記錄大小上限為 10 MB。 AWS Lambda 將其傳入記錄限制為 6 MB，Amazon Data Firehose 會將超過 6Mb 的記錄轉送至錯誤 S3 儲存貯體。如果 Lambda 已停用，Firehose 將其傳入記錄限制為 10 MB。如果 Amazon Data Firehose 從 Amazon MSK 收到大於 10 MB 的記錄大小，Amazon Data Firehose 會將此記錄交付至 S3 錯誤儲存貯體，並將 Cloudwatch 指標發出至您的帳戶。如需 AWS Lambda 限制的詳細資訊，請參閱： https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html。
啟用 Firehose 串流上的動態分割時，可以為該 Firehose 串流建立 500 個作用中分割區的預設配額。作用中分割區計數是交付緩衝區內的作用中分割區總數。例如，如果動態分割查詢每秒建構 3 個分割區，而且您的緩衝區提示組態會每 60 秒觸發交付，則平均而言，您就會有 180 個作用中分割區。在分割區中交付資料後，此分割區就不再處於作用中狀態。您可以使用 Amazon Data Firehose 限制表單，請求增加此配額，每個指定 Firehose 串流最多 5000 個作用中分割區。如果您需要更多分割區，您可以建立更多 Firehose 串流，並將作用中分割區分散到其中。
啟用 Firehose 串流上的動態分割時，每個作用中分割區支援每秒 1 GB 的最大輸送量。
每個帳戶將具有每個區域的 Firehose 串流數量配額如下：
- 美國東部（維吉尼亞北部）、美國東部（俄亥俄）、美國西部（奧勒岡）、歐洲（愛爾蘭）、亞太區域（東京）：5，000 個 Firehose 串流
- 歐洲（法蘭克福）、歐洲（倫敦）、亞太區域（新加坡）、亞太區域（雪梨）、亞太區域（首爾）、亞太區域（孟買）、 AWS GovCloud （美國西部）、加拿大（西部）、加拿大（中部）：2，000 Firehose 串流
- 歐洲（巴黎）、歐洲（米蘭）、歐洲（斯德哥爾摩）、亞太區域（香港）、亞太區域（大阪）、南美洲（聖保羅）、中國（寧夏）、中國（北京）、中東（巴林）、 AWS GovCloud （美國東部）、非洲（開普敦）：500 Firehose 串流
- 歐洲（蘇黎世）、歐洲（西班牙）、亞太區域（海德拉巴）、亞太區域（雅加達）、亞太區域（墨爾本）、中東（阿拉伯聯合大公國）、以色列（特拉維夫）、加拿大西部（卡加利）、加拿大（中部）、亞太區域（馬來西亞）、亞太區域（泰國）、墨西哥（中部）：100 Firehose 串流
- 如果您超過此數目，呼叫 CreateDeliveryStream 會導致 LimitExceededException 例外狀況。若要增加此配額，您可以使用 Service Quotas (如果您的區域提供的話)。如需有關使用 Service Quotas 的詳細資訊，請參閱請求配額提升。如果您的區域無法使用 Service Quotas，您可以使用 Amazon Data Firehose 限制表單請求增加。
將 Direct PUT 設定為資料來源時，每個 Firehose 串流都會為 PutRecord 和 PutRecordBatch 請求提供下列合併配額：
- 對於美國東部 (維吉尼亞北部)、美國西部 (奧勒岡) 和歐洲 (愛爾蘭)：500,000 筆記錄/秒、2,000 個請求/秒和 5 MiB/秒。
- 其他 AWS 區域：100，000 筆記錄/秒、1，000 筆請求/秒，以及 1 MiB/秒。
如果 Direct PUT 串流因為較高的資料擷取磁碟區超過 Firehose 串流的輸送量容量而遇到限流，Amazon Data Firehose 會自動增加串流的輸送量限制，直到包含限流為止。根據增加的輸送量和限流，Firehose 可能需要更長的時間才能將串流的輸送量增加到所需的層級。因此，請繼續重試失敗的資料擷取記錄。如果您預期資料磁碟區會突然大幅爆增，或如果您的新串流需要高於預設輸送量限制的輸送量，請請求提高輸送量限制。

若要請求提高配額，請使用 Amazon Data Firehose 限制表單。這三個配額會按比例提高。例如，如果您將美國東部 (維吉尼亞北部)、美國西部 (奧勒岡) 或歐洲 (愛爾蘭) 中的輸送量配額提升至 10 MiB/秒，則另外兩個配額會提升至 4,000 個請求/秒，以及 1,000,000 筆記錄/秒。

注意
請勿使用資源層級限制和配額來控制服務的使用情況。

重要
如果提高的配額遠高於執行中的流量，則會導致傳送至目的地的批次變得極小，既缺乏效率且可能使目的地服務產生更多成本。提高配額時，請務必符合目前執行中的流量，如果流量增加，應進一步提高配額。

重要
請注意，較小的資料記錄可能會帶來更高的成本。Firehose 擷取定價是根據您傳送至服務的資料記錄數量，乘以每個記錄的大小四捨五入至最接近的 5KB (5120 位元組）。因此，對於相同的傳入資料 (位元組) 量，如果有更多的傳入記錄，則產生的成本會更高。例如，如果傳入資料量總計為 5 MiB，則與使用 1,000 筆記錄傳送相同數量的資料相比，傳送超過 5,000 筆記錄的 5 MiB 資料會花費更高。如需詳細資訊，請參閱 AWS 計算器中的 Amazon Data Firehose。

注意
當 Kinesis Data Streams 設定為資料來源時，此配額不適用，Amazon Data Firehose 會無限制地縱向擴展和縮減。
如果交付目的地無法使用且來源為 DirectPut，則每個 Firehose 串流會存放資料記錄長達 24 小時。如果來源是 Kinesis Data Streams (KDS) 且目的地無法使用，則會根據您的 KDS 組態保留資料。
在 base64 編碼之前，傳送至 Amazon Data Firehose 的記錄大小上限為 1，000 KiB。
PutRecordBatch 操作每次呼叫可處理的上限為 500 筆記錄或 4 MiB，以較小者為準。此配額無法變更。
下列每個操作每秒最多可提供五個叫用，這是硬性限制。
緩衝提示間隔介於 60 秒到 900 秒。
對於從 Amazon Data Firehose 交付到 Amazon Redshift，僅支援可公開存取的 Amazon Redshift 叢集。
Amazon Redshift 和 OpenSearch Service 交付的重試持續時間介於 0 秒到 7,200 秒之間。
Firehose 支援 Elasticsearch 版本 – 1.5、2.3、5.1、5.3、5.5、5.6，以及所有 6.*、7.* 和 8.* 版本。Firehose 支援 Amazon OpenSearch Service 2.x 到 2.11。
當目的地為 Amazon S3、Amazon Redshift 或 OpenSearch Service 時，Amazon Data Firehose 最多允許每個碎片 5 個未完成的 Lambda 調用。對於 Splunk，配額為每個碎片 10 個未完成的 Lambda 調用。
您可以使用 CMK 類型CUSTOMER_MANAGED_CMK來加密最多 500 個 Firehose 串流。