# 推論目標
<a name="gateway-targets-inference"></a>

您可以將推論目標新增至閘道，將 LLM 流量路由至模型提供者。閘道做為統一的 LLM 代理層，可讓用戶端連線到單一端點，並根據請求中指定的模型，將請求路由至正確的模型提供者。推論目標為多個供應商的 LLM 流量提供以模型為基礎的路由、憑證抽象和集中式控管。

當您想要：
+ 提供單一端點，路由至多個模型提供者 （例如 Amazon Bedrock、OpenAI、Anthropic 或其他 OpenAI 相容服務），而不需要用戶端管理提供者特定的組態。
+ 抽象憑證管理，讓用戶端在閘道代表供應商進行身分驗證時，向閘道進行身分驗證。
+ 透過 Amazon Bedrock Guardrails 和 Amazon Bedrock AgentCore 政策一致地在所有 LLM 呼叫中套用集中式控管，無論供應商為何。
+ 直接搭配閘道端點使用 OpenAI SDK 或 Anthropic SDK，透過變更模型字串在模型之間切換。
+ 透過單一彙總端點列出所有已設定提供者的可用模型。

推論目標在目標組態中使用 `inference`金鑰。您可以透過下列兩種方式之一設定推論目標：
+  **連接器** – 支援模型提供者的零組態設定。建議大多數使用案例使用。
+  **提供者** – 明確控制端點、模型映射和操作。當您需要自訂路由行為時使用 。

下列主題會詳細說明每個組態類型。

**Topics**
+ [推論連接器目標](gateway-target-inference-connector.md)
+ [推論提供者目標](gateway-target-inference-provider.md)