選取您的 Cookie 偏好設定

我們使用提供自身網站和服務所需的基本 Cookie 和類似工具。我們使用效能 Cookie 收集匿名統計資料,以便了解客戶如何使用我們的網站並進行改進。基本 Cookie 無法停用,但可以按一下「自訂」或「拒絕」以拒絕效能 Cookie。

如果您同意,AWS 與經核准的第三方也會使用 Cookie 提供實用的網站功能、記住您的偏好設定,並顯示相關內容,包括相關廣告。若要接受或拒絕所有非必要 Cookie,請按一下「接受」或「拒絕」。若要進行更詳細的選擇,請按一下「自訂」。

AWS Data Pipeline 限制 - AWS Data Pipeline

AWS Data Pipeline 不再提供給新客戶。的現有客戶 AWS Data Pipeline 可以繼續正常使用服務。進一步了解

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

AWS Data Pipeline 不再提供給新客戶。的現有客戶 AWS Data Pipeline 可以繼續正常使用服務。進一步了解

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

AWS Data Pipeline 限制

為了確保所有使用者都有容量, 會 AWS Data Pipeline 限制您可以配置的資源,以及您可以配置資源的速率。

帳戶限制

下列限制適用於單一 AWS 帳戶。如果您需要額外的容量,您可以使用 Amazon Web Services Support Center 請求表單來增加容量。

屬性 限制 可調整
管道數量 100
每個管道的物件數量 100
每個物件的作用中執行個體數量 5
每個物件的欄位數量 50
每個欄位名稱或識別符的 UTF8 位元組數量 256
每個欄位的 UTF8 位元組數量 10,240
每個物件的 UTF8 位元組數量 15,360 (包括欄位名稱)
從物件建立執行個體的速率 每 5 分鐘 1 個
管道活動的重試次數 每個任務 5 次
重試之間的延遲下限 2 分鐘
排程間隔下限 15 分鐘
累算到單一物件的數量上限 32
每個 Ec2Resource 物件的 EC2 執行個體數量上限 1

Web 服務呼叫限制

AWS Data Pipeline 會限制您可以呼叫 Web 服務 API 的速率。這些限制也適用於代您呼叫 Web 服務 API 的 AWS Data Pipeline 代理程式,例如主控台、CLI 和任務執行器。

下列限制適用於單一 AWS 帳戶。這表示包括 使用者在內的帳戶總使用量不能超過這些限制。

高載速率可讓您在非活動期間節省 Web 服務呼叫,並在短時間內將其全部消耗。例如,CreatePipeline 的一般速率為每五秒呼叫一次。如果您在 30 秒內不呼叫服務,您會節省六次呼叫。然後,您可以在一秒內呼叫六次 Web 服務。由於這低於高載限制,並將您的平均呼叫保持在一般速率限制,因此您的呼叫不會受限。

如果您超過速率限制和高載限制,Web 服務呼叫會失敗,並傳回調節例外狀況。工作者 Task Runner 的預設實作會自動重試具有調節例外狀況而失敗的 API 呼叫。Task Runner 會關閉,以便後續嘗試以越來越長的間隔呼叫 API。如果您要編寫工作程式,我們建議您實作類似的重試邏輯。

這些限制會套用至個別 AWS 帳戶。

API 一般速率限制 高載限制
ActivatePipeline 每秒 1 次呼叫 100 次呼叫
CreatePipeline 每秒 1 次呼叫 100 次呼叫
DeletePipeline 每秒 1 次呼叫 100 次呼叫
DescribeObjects 每秒 2 次呼叫 100 次呼叫
DescribePipelines 每秒 1 次呼叫 100 次呼叫
GetPipelineDefinition 每秒 1 次呼叫 100 次呼叫
PollForTask 每秒 2 次呼叫 100 次呼叫
ListPipelines 每秒 1 次呼叫 100 次呼叫
PutPipelineDefinition 每秒 1 次呼叫 100 次呼叫
QueryObjects 每秒 2 次呼叫 100 次呼叫
ReportTaskProgress 每秒 10 次呼叫 100 次呼叫
SetTaskStatus 每秒 10 次呼叫 100 次呼叫
SetStatus 每秒 1 次呼叫 100 次呼叫
ReportTaskRunnerHeartbeat 每秒 1 次呼叫 100 次呼叫
ValidatePipelineDefinition 每秒 1 次呼叫 100 次呼叫

擴展考量

AWS Data Pipeline 會擴展以容納大量並行任務,而且您可以將其設定為自動建立處理大型工作負載所需的資源。這些自動建立的資源由您控制,並會計入您的 AWS 帳戶資源限制。例如,如果您 AWS Data Pipeline 將 設定為自動建立 20 節點的 Amazon EMR 叢集來處理資料,而 AWS 您的帳戶的 EC2 執行個體限制設為 20,則可能會無意中耗盡可用的回填資源。因此,請考慮將這些資源限制納入您的設計,或據以增加您的帳戶限制。

如果您需要額外的容量,您可以使用 Amazon Web Services Support Center 請求表單來增加容量。

隱私權網站條款Cookie 偏好設定
© 2025, Amazon Web Services, Inc.或其附屬公司。保留所有權利。