本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
追踪亚马逊 Bedrock 的使用量和成本
Amazon Bedrock 提供了多种方法,可将模型推理的使用量和成本归因于特定的用户、团队、应用程序、环境或实验。你可以使用单一机制,也可以组合几种机制。例如,使用 IAM 主体归因来获得每位用户的可见性,同时使用项目来标记每个应用程序,并请求元数据进行每次通话的实验跟踪。
提示
如果您不确定哪种机制适合您的用例,请从本章末尾的开始。常见问题它回答了常见的决策问题,例如 “我想要按用户、按提示归因——我有哪些选择?” 以及 “经典 CUR 和 CUR 2.0 有什么区别?”。
选择方法
您选择的成本归因方法取决于您要跟踪的维度、使用的亚马逊 Bedrock API 以及所需的粒度级别。以下两张表显示了互补的观点。使用第一个按目标查找机制,使用第二个并排比较机制。
按目标选择
如果您知道自己想要从成本追踪中得到什么,请从这里开始。
| 如果你的目标是... | 使用 |
|---|---|
| Per-user 或者账单上的每支队伍美元 | IAM 主要归因 |
| Per-application 或每工作负载美元 | 应用程序推理配置文件(bedrock-runtime) Projects、或 Workspaces (bedrock-mantle) |
| Per-prompt 代币使用量和成本,按任何维度划分 | Per-request 元数据标记,带有模型调用日志 |
| Per-user 以及每条提示的细节 | 模型调用日志,用户取自 identity ARN 或请求元数据标签 Per-request 元数据标记 |
| 发票上准确的美元和每次提示的详细信息 | 将本机方法(例如IAM 主要归因)与 Per-request 元数据标记 |
比较机制
下表根据可用机制允许您归因的内容、输出的内容、输出的粒度、数据的传输地点以及它们支持的端点来比较可用机制。
| 机制 | 属性依据 | Output | 粒度 | 数据目的地 | 支持的 API | bedrock-runtime |
bedrock-mantle |
|---|---|---|---|---|---|---|---|
| IAM 主要归因 | IAM 身份 | 已计费美元 | 每天按使用类型进行汇总 | AWS 成本管理器/CUR 2.0 | InvokeModel、交谈、聊天完成、回复 | ||
| 应用程序推理配置文件 | 配置文件资源标签 | 已计费美元 | 每天按使用类型进行汇总 | AWS 成本管理器/CUR 2.0 | InvokeModel、交谈、聊天完成 | ||
| Projects | 项目资源标签 | 已计费美元 | 每天按使用类型进行汇总 | AWS 成本管理器/CUR 2.0 | 回复、聊天完成次数 | ||
| Workspaces | 通过工作区标题标记项目资源 | 已计费美元 | 每天按使用类型进行汇总 | AWS 成本管理器/CUR 2.0 | 人类信息 | ||
| Per-request 元数据标记 | Per-request 键值标签 | 代币数量(您可以转换为成本) | 每个请求 | 仅限调用日志 | InvokeModel InvokeModelWithResponseStream,交谈, ConverseStream |
注意
本机方法(IAM 主要归因应用程序推理配置文件Projects、和Workspaces)向 AWS 成本管理器和CUR 2.0提供总计账单美元。最精细的细节是每天的每种使用类型,由身份或标签归因;它们不会生成每个请求的行。要了解每个提示的详细信息,请使用模型调用日志,其中每个调用都是一条单独的记录,带有自己的令牌数。
LLM 网关背后的归因
当网关或代理代表许多用户调用 Amazon Bedrock 时,Amazon Bedrock 会将网关的 IAM 角色记录为调用者的身份。要保留用户级别的归因,请根据您需要的输出进行选择。