View a markdown version of this page

追踪亚马逊 Bedrock 的使用量和成本 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

追踪亚马逊 Bedrock 的使用量和成本

Amazon Bedrock 提供了多种方法,可将模型推理的使用量和成本归因于特定的用户、团队、应用程序、环境或实验。你可以使用单一机制,也可以组合几种机制。例如,使用 IAM 主体归因来获得每位用户的可见性,同时使用项目来标记每个应用程序,并请求元数据进行每次通话的实验跟踪。

提示

如果您不确定哪种机制适合您的用例,请从本章末尾的开始。常见问题它回答了常见的决策问题,例如 “我想要按用户、按提示归因——我有哪些选择?” 以及 “经典 CUR 和 CUR 2.0 有什么区别?”。

选择方法

您选择的成本归因方法取决于您要跟踪的维度、使用的亚马逊 Bedrock API 以及所需的粒度级别。以下两张表显示了互补的观点。使用第一个按目标查找机制,使用第二个并排比较机制。

按目标选择

如果您知道自己想要从成本追踪中得到什么,请从这里开始。

如果你的目标是... 使用
Per-user 或者账单上的每支队伍美元 IAM 主要归因
Per-application 或每工作负载美元 应用程序推理配置文件(bedrock-runtime) Projects、或 Workspaces (bedrock-mantle)
Per-prompt 代币使用量和成本,按任何维度划分 Per-request 元数据标记,带有模型调用日志
Per-user 以及每条提示的细节 模型调用日志,用户取自 identity ARN 或请求元数据标签 Per-request 元数据标记
发票上准确的美元和每次提示的详细信息 将本机方法(例如IAM 主要归因)与 Per-request 元数据标记
比较机制

下表根据可用机制允许您归因的内容、输出的内容、输出的粒度、数据的传输地点以及它们支持的端点来比较可用机制。

机制 属性依据 Output 粒度 数据目的地 支持的 API bedrock-runtime bedrock-mantle
IAM 主要归因 IAM 身份 已计费美元 每天按使用类型进行汇总 AWS 成本管理器/CUR 2.0 InvokeModel、交谈、聊天完成、回复 Green circle with white checkmark icon. Green circle with white checkmark icon.
应用程序推理配置文件 配置文件资源标签 已计费美元 每天按使用类型进行汇总 AWS 成本管理器/CUR 2.0 InvokeModel、交谈、聊天完成 Green circle with white checkmark icon. Red circle with white X icon indicating error, cancel, or close action.
Projects 项目资源标签 已计费美元 每天按使用类型进行汇总 AWS 成本管理器/CUR 2.0 回复、聊天完成次数 Red circle with white X icon indicating error, cancel, or close action. Green circle with white checkmark icon.
Workspaces 通过工作区标题标记项目资源 已计费美元 每天按使用类型进行汇总 AWS 成本管理器/CUR 2.0 人类信息 Red circle with white X icon indicating error, cancel, or close action. Green circle with white checkmark icon.
Per-request 元数据标记 Per-request 键值标签 代币数量(您可以转换为成本) 每个请求 仅限调用日志 InvokeModel InvokeModelWithResponseStream,交谈, ConverseStream Green circle with white checkmark icon. Red circle with white X icon indicating error, cancel, or close action.
注意

本机方法(IAM 主要归因应用程序推理配置文件Projects、和Workspaces)向 AWS 成本管理器和CUR 2.0提供总计账单美元。最精细的细节是每天的每种使用类型,由身份或标签归因;它们不会生成每个请求的行。要了解每个提示的详细信息,请使用模型调用日志,其中每个调用都是一条单独的记录,带有自己的令牌数。

LLM 网关背后的归因

当网关或代理代表许多用户调用 Amazon Bedrock 时,Amazon Bedrock 会将网关的 IAM 角色记录为调用者的身份。要保留用户级别的归因,请根据您需要的输出进行选择。

  • 对于账单工具中的每用户美元,让网关使用每位用户或会话标签为每个用户或租户代入其 Amazon Bedrock 角色。RoleSessionName在会话生命周期内缓存生成的凭证,以避免对每个请求都进行 AWS STS 调用。有关更多信息,请参阅 IAM 主要归因

  • 要了解每个提示的详细信息,请在每次调用的请求元数据中设置用户。请求元数据因请求而异,无需额外 AWS STS 调用,而会话标签无法在共享会话上执行此操作。