AWS Data Pipeline 不再提供給新客戶。的現有客戶 AWS Data Pipeline 可以繼續正常使用服務。進一步了解
本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
AWS Data Pipeline 限制
為了確保所有使用者都有容量, 會 AWS Data Pipeline 限制您可以配置的資源,以及您可以配置資源的速率。
帳戶限制
下列限制適用於單一 AWS 帳戶。如果您需要額外的容量,您可以使用 Amazon Web Services Support Center 請求表單
屬性 | 限制 | 可調整 |
---|---|---|
管道數量 | 100 | 是 |
每個管道的物件數量 | 100 | 是 |
每個物件的作用中執行個體數量 | 5 | 是 |
每個物件的欄位數量 | 50 | 否 |
每個欄位名稱或識別符的 UTF8 位元組數量 | 256 | 否 |
每個欄位的 UTF8 位元組數量 | 10,240 | 否 |
每個物件的 UTF8 位元組數量 | 15,360 (包括欄位名稱) | 否 |
從物件建立執行個體的速率 | 每 5 分鐘 1 個 | 否 |
管道活動的重試次數 | 每個任務 5 次 | 否 |
重試之間的延遲下限 | 2 分鐘 | 否 |
排程間隔下限 | 15 分鐘 | 否 |
累算到單一物件的數量上限 | 32 | 否 |
每個 Ec2Resource 物件的 EC2 執行個體數量上限 | 1 | 否 |
Web 服務呼叫限制
AWS Data Pipeline 會限制您可以呼叫 Web 服務 API 的速率。這些限制也適用於代您呼叫 Web 服務 API 的 AWS Data Pipeline 代理程式,例如主控台、CLI 和任務執行器。
下列限制適用於單一 AWS 帳戶。這表示包括 使用者在內的帳戶總使用量不能超過這些限制。
高載速率可讓您在非活動期間節省 Web 服務呼叫,並在短時間內將其全部消耗。例如,CreatePipeline 的一般速率為每五秒呼叫一次。如果您在 30 秒內不呼叫服務,您會節省六次呼叫。然後,您可以在一秒內呼叫六次 Web 服務。由於這低於高載限制,並將您的平均呼叫保持在一般速率限制,因此您的呼叫不會受限。
如果您超過速率限制和高載限制,Web 服務呼叫會失敗,並傳回調節例外狀況。工作者 Task Runner 的預設實作會自動重試具有調節例外狀況而失敗的 API 呼叫。Task Runner 會關閉,以便後續嘗試以越來越長的間隔呼叫 API。如果您要編寫工作程式,我們建議您實作類似的重試邏輯。
這些限制會套用至個別 AWS 帳戶。
API | 一般速率限制 | 高載限制 |
---|---|---|
ActivatePipeline | 每秒 1 次呼叫 | 100 次呼叫 |
CreatePipeline | 每秒 1 次呼叫 | 100 次呼叫 |
DeletePipeline | 每秒 1 次呼叫 | 100 次呼叫 |
DescribeObjects | 每秒 2 次呼叫 | 100 次呼叫 |
DescribePipelines | 每秒 1 次呼叫 | 100 次呼叫 |
GetPipelineDefinition | 每秒 1 次呼叫 | 100 次呼叫 |
PollForTask | 每秒 2 次呼叫 | 100 次呼叫 |
ListPipelines | 每秒 1 次呼叫 | 100 次呼叫 |
PutPipelineDefinition | 每秒 1 次呼叫 | 100 次呼叫 |
QueryObjects | 每秒 2 次呼叫 | 100 次呼叫 |
ReportTaskProgress | 每秒 10 次呼叫 | 100 次呼叫 |
SetTaskStatus | 每秒 10 次呼叫 | 100 次呼叫 |
SetStatus | 每秒 1 次呼叫 | 100 次呼叫 |
ReportTaskRunnerHeartbeat | 每秒 1 次呼叫 | 100 次呼叫 |
ValidatePipelineDefinition | 每秒 1 次呼叫 | 100 次呼叫 |
擴展考量
AWS Data Pipeline 會擴展以容納大量並行任務,而且您可以將其設定為自動建立處理大型工作負載所需的資源。這些自動建立的資源由您控制,並會計入您的 AWS 帳戶資源限制。例如,如果您 AWS Data Pipeline 將 設定為自動建立 20 節點的 Amazon EMR 叢集來處理資料,而 AWS 您的帳戶的 EC2 執行個體限制設為 20,則可能會無意中耗盡可用的回填資源。因此,請考慮將這些資源限制納入您的設計,或據以增加您的帳戶限制。
如果您需要額外的容量,您可以使用 Amazon Web Services Support Center 請求表單