# 推理目标
<a name="gateway-targets-inference"></a>

您可以向网关添加推理目标，将 LLM 流量路由到模型提供商。网关充当统一的 LLM 代理层，允许客户端连接到单个端点，并根据请求中指定的模型将请求路由到正确的模型提供商。推理目标为跨多个提供商的 LLM 流量提供基于模型的路由、凭证抽象和集中管理。

当你想做以下事情时，向网关添加推理目标非常有用：
+ 提供一个可以路由到多个模型提供商（例如 Amazon Bedrock、OpenAI、Anthropic OpenAI-compatible 或其他服务）的终端节点，而无需客户端管理特定于提供商的配置。
+ 抽象凭据管理，以便客户端向网关进行身份验证，而网关则代表他们向提供商进行身份验证。
+ 通过 Amazon Bedrock Guardrails 和 Amazon Bedrock AgentCore 政策在所有法学硕士通话中始终如一地应用集中式治理，无论提供商是谁。
+ 直接将 OpenAI SDK 或 Anthropic SDK 与网关端点一起使用，通过更改模型字符串在模型之间切换。
+ 通过单个聚合端点列出所有已配置提供商的可用模型。

推理目标使用目标配置中的`inference`密钥。您可以通过以下两种方式之一配置推理目标：
+  **连接器**-为支持的模型提供者进行 Zero-configuration 设置。推荐用于大多数使用案例。
+  **提供者**-对端点、模型映射和操作的显式控制。在需要自定义路由行为时使用。

以下主题详细描述了每种配置类型。

**Topics**
+ [推理连接器目标](gateway-target-inference-connector.md)
+ [推理提供者目标](gateway-target-inference-provider.md)