选择您的 Cookie 首选项

我们使用必要 Cookie 和类似工具提供我们的网站和服务。我们使用性能 Cookie 收集匿名统计数据,以便我们可以了解客户如何使用我们的网站并进行改进。必要 Cookie 无法停用,但您可以单击“自定义”或“拒绝”来拒绝性能 Cookie。

如果您同意,AWS 和经批准的第三方还将使用 Cookie 提供有用的网站功能、记住您的首选项并显示相关内容,包括相关广告。要接受或拒绝所有非必要 Cookie,请单击“接受”或“拒绝”。要做出更详细的选择,请单击“自定义”。

了解 Amazon Bedrock 中的智能提示路由

聚焦模式
了解 Amazon Bedrock 中的智能提示路由 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

注意

Amazon Bedrock 中的智能提示路由处于预览阶段,可能会发生变化。

Amazon Bedrock 智能提示路由提供了单个无服务器端点,用于在同一模型系列中的不同基础模型之间高效路由请求。它可以帮助您优化响应质量和成本。它们为通过单个无服务器端点管理多个 AI 模型提供了全面的解决方案,从而为您简化了流程。智能提示路由可以预测每个模型在每个请求中的性能,并将每个请求动态路由到它预测的最有可能以最低成本提供所需响应的模型。借助智能提示路由,Amazon Bedrock 可以通过使用基础模型的组合来帮助您构建生成式 AI 应用程序,从而以比单一基础模型更低的成本获得更好的性能。

为了最好地利用智能提示路由,您应该定期检查性能以利用新模型。要优化您的使用情况,请监控可用的性能和成本指标。

要开始使用智能提示路由,请使用 Amazon Bedrock 控制台或 AWS SDK。 AWS CLI

在预览期间,您可以选择使用 Anthropic 和 Meta 系列中的精选模型。

智能提示路由具有以下好处。

  • 通过将提示路由到不同的基础模型,帮助您优化响应质量和成本。

  • 通过利用多个模型的优势,可以帮助提高整体性能。

  • 无需复杂的编排逻辑即可简化管理。

  • 通过在上市时加入新车型,经得起未来考验。

智能提示路由的工作原理
  1. 选择要使用的模型系列。

  2. 对于每个传入的请求,智能提示路由可以预测每个指定模型的性能。

  3. Amazon Bedrock 会动态选择它预测的模型将提供响应质量和成本的最佳组合。

  4. Amazon Bedrock 会将请求发送给您选择进行处理的型号。

  5. 您会收到回复,其中还包含有关Amazon Bedrock选择的型号的信息。

注意事项和限制

以下是 Amazon Bedrock 中智能提示路由的注意事项和限制。

  • 在预览期间,您只能从预配置的路由器中进行选择。

  • 目前,智能提示路由仅接受英文提示。

  • 智能提示路由无法根据应用程序特定的性能数据调整路由决策或响应。

  • 智能提示路由可能并不总是能为独特或特殊的用例提供最佳路由。路由的有效性取决于初始训练数据。

本页内容

隐私网站条款Cookie 首选项
© 2025, Amazon Web Services, Inc. 或其附属公司。保留所有权利。