本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
速率限制和配額
AWS 上的 Claude 平台會在您訂閱時指派第 1 層速率限制。Anthropic 會直接管理速率限制,而不是透過 AWS 配額系統。
預設限制
AWS 上的 Claude 平台使用 Anthropic 的標準方案排程,與第一方 Claude API 相同。每個工作區適用第 1 層限制。限制會依模型系列進行集區。例如,所有 Opus 模型共用一個合併限制,所有 Sonnet 模型共用另一個限制,所有 Haiku 模型共用第三個限制。
如需目前的層級 1 值 (RPM、IMC、OTPM) 和更高層級閾值,請參閱 Anthropic 文件網站上的速率限制
速率限制標頭
每個回應都包含報告目前速率限制狀態的標頭。金鑰標頭:
-
anthropic-ratelimit-requests-limit— 每分鐘請求數上限 -
anthropic-ratelimit-requests-remaining— 仍在目前視窗中的請求 -
anthropic-ratelimit-requests-reset— 請求限制重設的時間 (RFC 3339) -
anthropic-ratelimit-tokens-limit— 每分鐘合併字符 (輸入 + 輸出) 上限 -
anthropic-ratelimit-tokens-remaining— 目前視窗中剩餘的合併字符 -
anthropic-ratelimit-tokens-reset— 合併字符限制重設的時間 (RFC 3339) -
anthropic-ratelimit-input-tokens-limit/-remaining/-reset— Input-token-specific標頭 -
anthropic-ratelimit-output-tokens-limit/-remaining/-reset— Output-token-specific標頭 -
retry-after— 在 429 回應上,重試前要等待的秒數
如需完整集,請參閱 Anthropic 文件網站上的回應標頭
請求更高的限制
與第一方 Claude API 不同,自動方案提升不適用於 AWS 上的 Claude 平台。若要請求更高的限制,請聯絡您的 Anthropic 客戶代表,並提供工作區 ID 和所需的輸送量。如需層閾值和其他詳細資訊,請參閱 Anthropic 文件網站上的速率限制
速率限制錯誤
當您超過速率限制時,API 會傳回具有 rate_limit_error類型的 HTTP 429。在重試邏輯中實作具有抖動的指數退避。retry-after 標頭指出在重試之前要等待多少秒。