View a markdown version of this page

速率限制和配額 - AWS 上的 Claude 平台

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

速率限制和配額

AWS 上的 Claude 平台會在您訂閱時指派第 1 層速率限制。Anthropic 會直接管理速率限制,而不是透過 AWS 配額系統。

預設限制

AWS 上的 Claude 平台使用 Anthropic 的標準方案排程,與第一方 Claude API 相同。每個工作區適用第 1 層限制。限制會依模型系列進行集區。例如,所有 Opus 模型共用一個合併限制,所有 Sonnet 模型共用另一個限制,所有 Haiku 模型共用第三個限制。

如需目前的層級 1 值 (RPM、IMC、OTPM) 和更高層級閾值,請參閱 Anthropic 文件網站上的速率限制。Anthropic 頁面是事實的來源,並在限制變更時更新。

速率限制標頭

每個回應都包含報告目前速率限制狀態的標頭。金鑰標頭:

  • anthropic-ratelimit-requests-limit — 每分鐘請求數上限

  • anthropic-ratelimit-requests-remaining — 仍在目前視窗中的請求

  • anthropic-ratelimit-requests-reset — 請求限制重設的時間 (RFC 3339)

  • anthropic-ratelimit-tokens-limit — 每分鐘合併字符 (輸入 + 輸出) 上限

  • anthropic-ratelimit-tokens-remaining — 目前視窗中剩餘的合併字符

  • anthropic-ratelimit-tokens-reset — 合併字符限制重設的時間 (RFC 3339)

  • anthropic-ratelimit-input-tokens-limit / -remaining / -reset — Input-token-specific標頭

  • anthropic-ratelimit-output-tokens-limit / -remaining / -reset — Output-token-specific標頭

  • retry-after — 在 429 回應上,重試前要等待的秒數

如需完整集,請參閱 Anthropic 文件網站上的回應標頭

請求更高的限制

與第一方 Claude API 不同,自動方案提升不適用於 AWS 上的 Claude 平台。若要請求更高的限制,請聯絡您的 Anthropic 客戶代表,並提供工作區 ID 和所需的輸送量。如需層閾值和其他詳細資訊,請參閱 Anthropic 文件網站上的速率限制

速率限制錯誤

當您超過速率限制時,API 會傳回具有 rate_limit_error類型的 HTTP 429。在重試邏輯中實作具有抖動的指數退避。retry-after 標頭指出在重試之前要等待多少秒。