AWS Data Pipeline 不再提供給新客戶。的現有客戶 AWS Data Pipeline 可以繼續正常使用服務。進一步了解
本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
AWS Data Pipeline 限制
為了確保所有使用者都有容量, 會 AWS Data Pipeline 限制您可以配置的資源,以及您可以配置資源的速率。
帳戶限制
下列限制適用於單一 AWS 帳戶。如果您需要額外的容量,您可以使用 Amazon Web Services Support Center 請求表單
| 屬性 | 限制 | 可調整 |
|---|---|---|
| 管道數量 | 100 | 是 |
| 每個管道的物件數量 | 100 | 是 |
| 每個物件的作用中執行個體數量 | 5 | 是 |
| 每個物件的欄位數量 | 50 | 否 |
| 每個欄位名稱或識別符的 UTF8 位元組數量 | 256 | 否 |
| 每個欄位的 UTF8 位元組數量 | 10,240 | 否 |
| 每個物件的 UTF8 位元組數量 | 15,360 (包括欄位名稱) | 否 |
| 從物件建立執行個體的速率 | 每 5 分鐘 1 個 | 否 |
| 管道活動的重試次數 | 每個任務 5 次 | 否 |
| 重試之間的延遲下限 | 2 分鐘 | 否 |
| 排程間隔下限 | 15 分鐘 | 否 |
| 累算到單一物件的數量上限 | 32 | 否 |
| 每個 Ec2Resource 物件的 EC2 執行個體數量上限 | 1 | 否 |
Web 服務呼叫限制
AWS Data Pipeline 會限制您可以呼叫 Web 服務 API 的速率。這些限制也適用於代您呼叫 Web 服務 API 的 AWS Data Pipeline 代理程式,例如主控台、CLI 和任務執行器。
下列限制適用於單一 AWS 帳戶。這表示包括 使用者在內的帳戶總使用量不能超過這些限制。
高載速率可讓您在非活動期間節省 Web 服務呼叫,並在短時間內將其全部消耗。例如,CreatePipeline 的一般速率為每五秒呼叫一次。如果您在 30 秒內不呼叫服務,您會節省六次呼叫。然後,您可以在一秒內呼叫六次 Web 服務。由於這低於高載限制,並將您的平均呼叫保持在一般速率限制,因此您的呼叫不會受限。
如果您超過速率限制和高載限制,Web 服務呼叫會失敗,並傳回調節例外狀況。工作者 Task Runner 的預設實作會自動重試具有調節例外狀況而失敗的 API 呼叫。Task Runner 會關閉,以便後續嘗試以越來越長的間隔呼叫 API。如果您要編寫工作程式,我們建議您實作類似的重試邏輯。
這些限制會套用至個別 AWS 帳戶。
| API | 一般速率限制 | 高載限制 |
|---|---|---|
| ActivatePipeline | 每秒 1 次呼叫 | 100 次呼叫 |
| CreatePipeline | 每秒 1 次呼叫 | 100 次呼叫 |
| DeletePipeline | 每秒 1 次呼叫 | 100 次呼叫 |
| DescribeObjects | 每秒 2 次呼叫 | 100 次呼叫 |
| DescribePipelines | 每秒 1 次呼叫 | 100 次呼叫 |
| GetPipelineDefinition | 每秒 1 次呼叫 | 100 次呼叫 |
| PollForTask | 每秒 2 次呼叫 | 100 次呼叫 |
| ListPipelines | 每秒 1 次呼叫 | 100 次呼叫 |
| PutPipelineDefinition | 每秒 1 次呼叫 | 100 次呼叫 |
| QueryObjects | 每秒 2 次呼叫 | 100 次呼叫 |
| ReportTaskProgress | 每秒 10 次呼叫 | 100 次呼叫 |
| SetTaskStatus | 每秒 10 次呼叫 | 100 次呼叫 |
| SetStatus | 每秒 1 次呼叫 | 100 次呼叫 |
| ReportTaskRunnerHeartbeat | 每秒 1 次呼叫 | 100 次呼叫 |
| ValidatePipelineDefinition | 每秒 1 次呼叫 | 100 次呼叫 |
擴展考量
AWS Data Pipeline 會擴展以容納大量並行任務,而且您可以將其設定為自動建立處理大型工作負載所需的資源。這些自動建立的資源由您控制,並會計入您的 AWS 帳戶資源限制。例如,如果您 AWS Data Pipeline 將 設定為自動建立 20 節點的 Amazon EMR 叢集來處理資料,而 AWS 您的帳戶的 EC2 執行個體限制設為 20,則可能會無意中耗盡可用的回填資源。因此,請考慮將這些資源限制納入您的設計,或據以增加您的帳戶限制。
如果您需要額外的容量,您可以使用 Amazon Web Services Support Center 請求表單