View a markdown version of this page

Amazon Bedrock 支援的端點 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon Bedrock 支援的端點

Amazon Bedrock 支援各種端點,取決於您想要執行控制平面運算子或推論操作。

控制平面操作

Amazon Bedrock 控制平面操作可與端點搭配使用:bedrock.{region}.amazonaws.com.可用於管理 資源,例如列出可用的模型、建立自訂模型任務,以及管理佈建的輸送量在這裡閱讀有關控制平面 API 的詳細資訊。

推論操作

Amazon Bedrock 支援下列主要兩個端點,以程式設計方式執行推論:

端點 支援的 APIs Description
bedrock-mantle.{region}.api.aws 回應 API/聊天完成 API/訊息 API 區域特定的端點,用於使用 OpenAI 相容端點和 Anthropic Messages API,對 Amazon Bedrock 中託管的模型進行推論請求。
bedrock-runtime.{region}.amazonaws.com InvokeModel/Converse/聊天完成/訊息 API 區域特定的端點,用於使用 InvokeModel/Converse/Chat Completions/Messages APIs,對 Amazon Bedrock 中託管的模型進行推論請求。在此處閱讀有關 Amazon Bedrock 執行期 APIs的詳細資訊。

您應該使用哪個服務端點進行推論?

您使用的端點取決於您的使用案例。

端點 功能和使用案例
bedrock-mantle

支援 OpenAI 相容 APIs (回應 API聊天完成 API) 和 Anthropic 原生訊息 API

用於:從使用 OpenAI 相容 APIs 的其他模型輕鬆遷移。

功能:支援搭配 Lambda 函數使用的用戶端和伺服器端工具,並在您的應用程式中設定ready-to-use工具。

建議用於:Amazon Bedrock 的新使用者。

bedrock-runtime

支援 Amazon Bedrock 原生 APIs (呼叫 APIConverse API)、Anthropic 原生訊息 API 和 OpenAI 相容聊天完成 API

用於:執行 Amazon Bedrock 支援的任何模型。Converse API 提供與 Amazon Bedrock 中所有模型互動的統一界面,而調用 API 可讓您直接存取模型,更能夠控制請求和回應格式。您也可以使用聊天完成 API 與您的模型互動。

功能:僅支援搭配 Lambda 函數使用的用戶端工具,而且不會預先設定ready-to-use工具。可讓您在叫用模型時追蹤用量和成本。

如果您是初次使用 Amazon Bedrock,建議您從bedrock-mantle端點開始。

使用 VPC 介面端點降低資料輸出成本

如果您是從 VPC 內呼叫 Amazon Bedrock,請考慮使用 VPC 介面端點 (AWS PrivateLink) 來保留 AWS 網路內的流量,並避免與 NAT 閘道或網際網路閘道相關聯的資料輸出費用。