使用 Amazon CloudWatch 编程代理洞察监控 AI 编码代理
OpenAI Codex、Claude Code 和 GitHub Copilot 等人工智能编程代理会发出有关开发人员如何使用它们的 OpenTelemetry(OTel)遥测数据,即令牌消耗、每回合延迟、工具调用、API 请求和审批。当将此遥测数据发送到 Amazon CloudWatch 时,您可以监控采用情况,将使用情况和成本归因于团队和部门,并发现整个开发人员队伍中的性能或可靠性问题。
CloudWatch 提供编程代理洞察,这是位于控制台的 GenAI 可观测性、编程代理洞察下的一组即用型控制面板。控制面板使您能够按组织属性(例如组织、部门、团队、成本中心和用户)对使用情况进行细分,以便比较整个团队的采用情况和成本。您还可以将底层数据导出为 CSV 以便进一步分析。无需创建或导入这些控制面板。一旦代理以预期结构发送指标,它们就会自动显示并填充。您唯一的任务是配置每个代理,使其将 OTel 指标发布到 CloudWatch。
重要
编程代理洞察控制面板依赖于特定的指标和属性结构。每个代理的原生 OTel 指标都带有控制面板的核心维度(例如 model 和 token_type)。身份和组织属性(例如 user.email、team.id、department、cost_center 和 organization)必须作为 OTel 资源属性发送。本节中的设置指南将每个代理配置为以此结构发出遥测数据。如果更改指标名称或将身份属性移出资源,则控制面板可能无法填充。
先决条件
编程代理将指标发送到 CloudWatch 原生 OTLP 指标端点。在配置代理之前,请熟悉端点。有关更多信息,请参阅OTLP 端点和开始使用。
设置指南
选择适合您编程代理的指南。每个指南都涵盖一种或多种设置路径,因此您可以选择与您的开发人员运行代理的方式相匹配的方法。
主题
-
Claude Code:使用持有者令牌(个人和小型团队)或企业部署通过公司 SSO 来配置 Claude Code。
-
为 OpenAI Codex 设置 OpenTelemetry:使用持有者令牌(个人和小型团队)或企业部署通过公司单点登录(SSO)来配置 OpenAI Codex。
-
为 GitHub Copilot 设置 OpenTelemetry:使用持有者令牌配置 GitHub Copilot。
查看控制面板
代理开始发送指标后,请在控制台中查看控制面板。
查看编程代理洞察控制面板
-
通过 https://console.aws.amazon.com/cloudwatch/
打开 CloudWatch 控制台。 -
在导航窗格中,选择 GenAI 可观测性,然后选择编程代理洞察。
-
选择适合您编程代理的选项卡。指标通常会在代理发送数据后的几分钟内出现。
注意
可使用 PromQL 查询指标,因此您也可以构建自己的控制面板和警报。有关更多信息,请参阅 PromQL 查询。