本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
推理配置文件是 Amazon Bedrock 中的一种资源,用于定义模型以及推理配置文件可以将模型调用请求路由到的一个或多个区域。您可以将推理配置文件用于以下任务:
-
跟踪使用情况指标-设置 CloudWatch 日志并提交带有应用程序推理配置文件的模型调用请求,以收集模型调用的使用指标。当你查看推理概况的信息时,你可以检查这些指标,并使用它们来为你的决策提供依据。有关如何设置 CloudWatch 日志的更多信息,请参阅使用日志监控模型调用 CloudWatch 。
-
使用标签监控成本 — 在提交按需模型调用请求时,将标签附加到应用程序推理配置文件以跟踪成本。有关如何使用标签进行成本分配的更多信息,请参阅 AWS Billing 用户指南中的使用 AWS 成本分配标签组织和跟踪成本。
-
跨区域推理 — 使用包含多个区域的推理配置文件来提高吞吐量。 AWS 区域推理配置文件将在这些区域中分发模型调用请求,以提高吞吐量和性能。有关跨区域推理的更多信息,请参阅。通过跨区域推理提高吞吐量
Amazon Bedrock 提供以下类型的推理配置文件:
-
跨区域(系统定义)推理配置文件 — 在 Amazon Bedrock 中预定义的推理配置文件,包括模型请求可以路由到的多个区域。
-
应用程序推理配置文件 — 用户为跟踪成本和模型使用情况而创建的推理配置文件。您可以创建一个推理配置文件,将模型调用请求路由到一个区域或多个区域:
-
要创建用于跟踪某个区域中模型的成本和使用情况的推理配置文件,请在您希望推理配置文件将请求路由到的区域中指定基础模型。
-
要创建用于跟踪模型跨多个区域的成本和使用情况的推理配置文件,请指定用于定义模型的跨区域(系统定义)推理配置文件以及您希望推理配置文件将请求路由到的区域。
-
您可以使用具有以下功能的推理配置文件将请求路由到多个区域,并跟踪使用这些功能发出的调用请求的使用情况和成本:
-
模型推理 — 在运行模型调用时使用推理配置文件,方法是在 Amazon Bedrock 控制台的操场中选择推理配置文件,或者在调用、、、Converse 和操作时指定推理配置文件的 ARN。InvokeModelInvokeModelWithResponseStreamConverseStream有关更多信息,请参阅 使用模型推理提交提示并生成响应。
-
知识库矢量嵌入和响应生成-在查询知识库后生成响应或解析数据源中的非文本信息时,使用推理配置文件。有关更多信息,请参阅利用查询和响应测试知识库 和数据源的解析选项。
-
模型评测 – 在提交模型评测作业时,可以将推理配置文件作为模型进行评测。有关更多信息,请参阅 评估 Amazon Bedrock 资源的性能。
-
提示管理 — 在为在 Prompt 管理中创建的提示生成响应时,您可以使用推理配置文件。有关更多信息,请参阅 在 Amazon Bedrock 中使用提示管理器构建和存储可重复使用的提示
-
流程 — 在为在流程的提示节点中以内联方式定义的提示生成响应时,您可以使用推理配置文件。有关更多信息,请参阅 使用 Amazon Bedrock Flows 构建 end-to-end生成式 AI 工作流程。
使用推理配置文件的价格是根据您调用推理配置文件所在区域的模型价格计算的。有关定价的信息,请参阅 Amazon Bedrock 定价
有关跨区域推理配置文件可以提供的吞吐量的更多详细信息,请参阅。通过跨区域推理提高吞吐量