View a markdown version of this page

使用 Amazon CloudWatch 编程代理洞察监控 AI 编码代理 - Amazon CloudWatch

使用 Amazon CloudWatch 编程代理洞察监控 AI 编码代理

OpenAI Codex、Claude Code 和 GitHub Copilot 等人工智能编程代理会发出有关开发人员如何使用它们的 OpenTelemetry(OTel)遥测数据,即令牌消耗、每回合延迟、工具调用、API 请求和审批。当将此遥测数据发送到 Amazon CloudWatch 时,您可以监控采用情况,将使用情况和成本归因于团队和部门,并发现整个开发人员队伍中的性能或可靠性问题。

CloudWatch 提供编程代理洞察,这是位于控制台的 GenAI 可观测性编程代理洞察下的一组即用型控制面板。控制面板使您能够按组织属性(例如组织、部门、团队、成本中心和用户)对使用情况进行细分,以便比较整个团队的采用情况和成本。您还可以将底层数据导出为 CSV 以便进一步分析。无需创建或导入这些控制面板。一旦代理以预期结构发送指标,它们就会自动显示并填充。您唯一的任务是配置每个代理,使其将 OTel 指标发布到 CloudWatch。

重要

编程代理洞察控制面板依赖于特定的指标和属性结构。每个代理的原生 OTel 指标都带有控制面板的核心维度(例如 modeltoken_type)。身份和组织属性(例如 user.emailteam.iddepartmentcost_centerorganization)必须作为 OTel 资源属性发送。本节中的设置指南将每个代理配置为以此结构发出遥测数据。如果更改指标名称或将身份属性移出资源,则控制面板可能无法填充。

先决条件

编程代理将指标发送到 CloudWatch 原生 OTLP 指标端点。在配置代理之前,请熟悉端点。有关更多信息,请参阅OTLP 端点开始使用

设置指南

选择适合您编程代理的指南。每个指南都涵盖一种或多种设置路径,因此您可以选择与您的开发人员运行代理的方式相匹配的方法。

主题

    查看控制面板

    代理开始发送指标后,请在控制台中查看控制面板。

    查看编程代理洞察控制面板
    1. 通过 https://console.aws.amazon.com/cloudwatch/ 打开 CloudWatch 控制台。

    2. 在导航窗格中,选择 GenAI 可观测性,然后选择编程代理洞察

    3. 选择适合您编程代理的选项卡。指标通常会在代理发送数据后的几分钟内出现。

    注意

    可使用 PromQL 查询指标,因此您也可以构建自己的控制面板和警报。有关更多信息,请参阅 PromQL 查询