擴展和輸送量最佳實務

本主題說明輸送量限制和排程如何跨 Amazon Bedrock 端點運作，並提供擴展生成式 AI 應用程式的最佳實務。

Amazon Bedrock 端點

Amazon Bedrock 支援兩個端點進行推論：

對於大多數新應用程式，請從 開始bedrock-runtime。當您需要只能在該端點上使用的功能bedrock-mantle時，請使用 ，例如伺服器端工具、背景推論、專案、工作區或只能在 上使用的模型bedrock-mantle。您可以在相同的應用程式中使用這兩個端點。如需完整的比較，請參閱 Amazon Bedrock 支援的端點。

為什麼兩個端點的行為不同

兩個端點表面都使用相同的基礎推論引擎，但其配額會計和容量選項不同。 bedrock-runtime使用每個模型字符配額，對於某些模型，使用requests-per-minute (RPM) 配額。 bedrock-mantle 不會強制執行 RPM 配額，並為已發佈配額的模型使用單獨的輸入字符和輸出字符配額。上的其他模型bedrock-mantle可能不會在 Service Quotas 中公開每個帳戶配額，但其輸送量仍受內部服務容量管理。

配額是上限，不保證會立即提供每個隨需請求。在高需求期間，請求可以排入佇列或接收暫時性容量錯誤。設計您的應用程式以繫結並行、佇列工作和重試暫時性錯誤，而無需建立重試突增。

bedrock-mantle 端點：輸送量和配額

bedrock-mantle 端點具有下列配額行為：

預設值和您帳戶的配置可能會因模型、區域和用量歷史記錄而有所不同。如需目前值、配額評估詳細資訊，以及請求提高的 AWS 支援程序，請參閱 bedrock-mantle 端點的配額。請參閱模型一目了然適用於模型特定端點、服務層和功能支援的 。

bedrock-runtime 端點：輸送量和配額

bedrock-runtime 端點具有下列配額行為：

如需目前的配額值、字符燒錄詳細資訊和配額增加程序，請參閱 bedrock-runtime 端點的配額。請參閱模型一目了然適用於模型特定的端點、服務層和功能支援。

了解 HTTP 錯誤回應

如需 API 特定原因和解決步驟，請參閱 對 Amazon Bedrock API 錯誤碼進行疑難排解。

建議的錯誤處理

暫時性錯誤

僅重試可安全重試的錯誤，例如暫時性限流和容量錯誤。如果服務傳回Retry-After標頭，請予以遵守。否則，請使用隨機抖動實作指數退避：

AWS SDKs和熱門 HTTP 程式庫提供此模式的內建支援。重試設定名稱不同：botocore 的 total_max_attempts包含初始請求，而 OpenAI 和 Anthropic SDKs 僅max_retries計算重試次數。因此，下列範例使用不同的數值來提供相同的範例六嘗試預算。

import boto3
from botocore.config import Config

config = Config(retries={"total_max_attempts": 6, "mode": "standard"})
client = boto3.client("bedrock-runtime", config=config)

from openai import OpenAI

client = OpenAI(
    api_key=api_key,
    base_url=f"https://bedrock-mantle.{region}.api.aws/v1",
    max_retries=5,
)

import anthropic

client = anthropic.Anthropic(
    api_key=api_key,
    base_url=f"https://bedrock-mantle.{region}.api.aws/anthropic",
    max_retries=5,
)

根據模型和操作記錄的最大推論持續時間，將連線和讀取逾時與重試分開設定。短於有效長時間執行推論請求的逾時可能會導致可避免的重試和重複工作。

持續的容量錯誤

如果您收到持續的 503 或 529 錯誤，則單獨重試可以放大負載。服務可能遇到暫時性容量限制，或工作負載可能超過目前適用於模型和區域的容量。採取下列步驟：

提升輸送量

隨需容量可能因模型、區域和時間而異。並非所有配額內的請求都保證在高需求期間成功，因此在啟動工作負載、變更模型或區域或增加大量流量時逐漸漸進。對於沒有每個帳戶已發佈配額的bedrock-mantle模型來說，這尤其重要。

建議的漸進測試程序

從工作負載的延遲和流量模式選擇步驟大小和觀察期間。請勿使用 RPM 作為唯一的控制訊號：請求字符大小和回應長度可能會大幅變更容量消耗，即使 RPM 保持不變。

如需增加bedrock-mantle配額，請遵循 請求提高配額。對於 bedrock-runtime，請遵循 請求提高配額。

其他最佳實務

區域可用性和跨區域推論

隨需容量為區域性，可能因區域而異。如果您的工作負載以單一區域為目標，可能會在高需求期間遇到容量錯誤。使用 時bedrock-runtime，請在模型和您的資料居住需求支援全域跨區域推論時使用 。如果您實作自己的區域容錯移轉，請驗證每個目標區域中的模型可用性，並套用週框重試，讓容錯移轉不會造成流量激增。

取得說明

建議摘要