本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
Amazon Bedrock 支援的端點
Amazon Bedrock 支援執行推論操作的各種端點。
推論操作
對於新應用程式，我們建議使用 bedrock-runtime端點。它支援 Bedrock 原生 InvokeModel 和 Converse APIs、OpenAI 相容的回應和聊天完成 APIs，以及 Anthropic Messages API，並且是提供 Amazon Bedrock 功能的地方，例如護欄、智慧型提示路由和跨區域推論。Amazon Bedrock 也支援第二個端點 bedrock-mantle，目前提供額外的功能，例如伺服器端和預先設定的工具使用 （包括 Web 搜尋)、使用 的非同步推論background=true，以及建立專案和工作區。若要查看每個模型支援的端點，請參閱 依模型的端點可用性。
| 端點 | 支援的 APIs | Description |
|---|---|---|
bedrock-runtime.{region}.amazonaws.com (建議) |
InvokeModel/Converse/聊天完成/回應 API/訊息 API | 區域特定的端點，用於使用 InvokeModel/Converse/Chat Completions/Responses/Messages APIs，對 Amazon Bedrock 中託管的模型進行推論請求。如需 Bedrock 原生操作的詳細資訊，請參閱 Amazon Bedrock 執行時間 API 操作。在此端點的路徑上呼叫 OpenAI 相容 APIs，而不是透過 AWS SDKs。 /openai/v1 |
bedrock-mantle.{region}.api.aws |
回應 API/聊天完成 API/訊息 API | 區域特定的端點，用於使用 OpenAI 相容端點和 Anthropic Messages API，對 Amazon Bedrock 中託管的模型進行推論請求。 |
使用 的現有應用程式會bedrock-mantle繼續獲得完全支援，不需要變更。這兩個端點都只變更基本 URL 和 API 金鑰，並同時支援 OpenAI 相容回應和聊天完成 APIs 和 Anthropic Messages API，可讓您將現有的 OpenAISDK 程式碼庫帶入 Amazon Bedrock。
下表比較每個端點上可用的項目。
| API | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| InvokeModel |  |
 |
| Converse / ConverseStream | |
|
| 聊天完成 (OpenAI 相容） | |
|
| 回應 API (OpenAI 相容） | |
|
| 訊息 API (Anthropic-native) | |
|
注意
訊息 API 可在兩個端點上使用，但兩個表面沒有相同的功能支援。尤其不支援 上的結構化輸出 ( output_config.format 參數） bedrock-mantle- 包含 的請求output_config.format會遭到 400 錯誤的拒絕。若要搭配 Anthropic Claude 模型使用結構化輸出，請呼叫 上的 Converse 或 InvokeModel APIsbedrock-runtime。
注意
在沒有相同功能支援的情況下，回應 API 也可用於兩個端點。在 bedrock-runtime 上：
請求一律是同步的。
background=true會因 400 錯誤而遭到拒絕。store參數不受影響，並保持其預設值為true，因此存放的多轉對話可正常運作。伺服器端工具使用和預先設定的工具不可用，包括 Web 搜尋。用戶端工具可在兩個端點上使用。
僅支援預設專案。請參閱 專案 (OpenAI 相容）。
儲存的回應屬於 AWS 區域 提供它的 。擷取、取消或刪除它，以及繼續與 的對話
previous_response_id，都由該區域處理。
| 功能 | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| 跨區域推論 （地理和全域設定檔） | |
|
| 具狀態的對話管理 | |
|
| 非同步 （長時間執行） 推論 | |
|
| 用戶端工具使用 | |
|
| 伺服器端工具使用 | |
|
| 預先設定的ready-to-use工具 | |
|
| 專案 | 僅限預設專案 | |
| 工作區 | |
|
| 項目 | bedrock-runtime |
bedrock-mantle |
|---|---|---|
| AWS SigV4 身分驗證 | |
|
| Bedrock API 金鑰 （也適用於 OpenAI SDK) | |
|
| 用量屬性 | IAM 主體、每個請求中繼資料標記、應用程式推論描述檔 | 專案、工作區 |
注意
在 上bedrock-runtime，僅 IAM 主體的回應 API 屬性用量。每個請求的中繼資料標記和應用程式推論描述檔上不可用 - 將應用程式推論描述檔命名為其推論目標的請求會被拒絕，並顯示 400 錯誤。這不會影響跨區域推論：系統定義的地理和全域推論設定檔正常運作。
注意
上的提示快取支援bedrock-mantle取決於特定模型 — 模型一目了然 如需詳細資訊，請參閱下的每個模型卡。
輸送量和配額方法
每個端點使用不同的方法來管理輸送量。
-
bedrock-runtime– 在許多傳統的多租用戶服務中，架構的設計是以每個帳戶配額為中心，以管理共用資源的公平共用存取。這是與 搭配使用的方法bedrock-runtime。每個模型都有您可以請求增加的固定輸送量配額 (RPM 和 TPM)。如需詳細資訊，請參閱bedrock-runtime 端點的配額。 -
bedrock-mantle– 此端點的架構具有進階排程和工作佇列機制，可提供公平共用分佈，同時支援更高的初始輸送量限制。此設計也允許bedrock-mantle託管廣泛的模型，並提供模型目錄中可用的完整功能範圍。在大多數情況下，會立即提供請求。在某些情況下，當傳輸中的工作負載完成且輸送量變為可用時，請求可能會短暫排入佇列。如需詳細資訊，請參閱 bedrock-mantle 端點的配額 和 擴展和輸送量最佳實務。
定價
bedrock-runtime 和 上相同模型的每個字符定價相同bedrock-mantle。根據您需要APIs 和功能選擇端點，而不是成本。如需目前定價，請參閱 Amazon Bedrock 定價
選擇每個端點的時機
當您想要執行下列動作bedrock-runtime時，請從 開始：
呼叫 OpenAI 相容回應或聊天完成 APIs，或 Anthropic Messages API。
使用 Bedrock 原生 InvokeModel 或 Converse APIs。
使用跨區域推論，跨地理位置或全域路由請求。
當您bedrock-mantle想要：
使用伺服器端工具使用或預先設定的工具建置代理工作流程，包括 Web 搜尋。
執行非同步或長時間執行的推論工作負載，包括使用 回應請求
background=true。建立 專案 (OpenAI 相容）或 Workspaces （與 Anthropic 相容）以隔離工作負載，並在應用程式層級追蹤成本和用量。
使用只能在 上使用的模型
bedrock-mantle。請參閱 依模型的端點可用性。
兩個端點都可以從相同的應用程式一起使用 - 每個使用案例選擇 。
使用 VPC 介面端點降低資料輸出成本
如果您是從 VPC 內呼叫 Amazon Bedrock，請考慮使用 VPC 介面端點 (AWS PrivateLink) 來保留 AWS 網路內的流量，並避免與 NAT 閘道或網際網路閘道相關聯的資料輸出費用。
