Monitorar agentes de codificação de IA com insights do agente de codificação do Amazon CloudWatch
Agentes de codificação de IA, como OpenAI Codex, Claude Code e GitHub Copilot, emitem telemetria OpenTelemetry (OTel) sobre como seus desenvolvedores os utilizam: consumo de tokens, latência por turno, chamadas de ferramentas, solicitações de API e aprovações. Ao enviar essa telemetria para o Amazon CloudWatch, é possível monitorar a adoção, atribuir o uso e o custo às equipes e departamentos e identificar problemas de desempenho ou confiabilidade em toda a sua frota de desenvolvedores.
O CloudWatch fornece ao Coding Agent Insights um conjunto de painéis prontos para uso no console em GenAI Observability, Coding Agent Insights. Os painéis possibilitam que você divida o uso em vários atributos organizacionais, como organização, departamento, equipe, centro de custos e usuário, para que você possa comparar a adoção e o custo em toda a sua frota. Você pode também exportar os dados subjacentes como CSV para análise posterior. Você não cria nem importa esses painéis. Eles aparecem de maneira automática e são preenchidos assim que seus agentes enviam métricas na forma esperada. Sua única tarefa é configurar cada agente para publicar suas métricas OTel no CloudWatch.
Importante
Os painéis do Coding Agent Insights dependem de uma métrica e formato de atributo específicos. As métricas OTel nativas de cada agente contêm as dimensões principais do painel (como model e token_type). Os atributos de identidade e organizacionais (como user.email, team.id, department, cost_center e organization) devem ser enviados como atributos do recurso OTel. Os guias de configuração desta seção ajustam cada agente para emitir telemetria dessa forma. Se você alterar os nomes das métricas ou mover os atributos de identidade do recurso, os painéis talvez não sejam preenchidos.
Pré-requisitos
Os agentes de codificação enviam métricas para o endpoint de métricas OTLP nativo do CloudWatch. Antes de configurar um agente, familiarize-se com o endpoint. Para obter mais informações, consulte Endpoints do OTLP e Introdução.
Guias de configuração
Escolha o guia para seu agente de codificação. Cada guia abrange um ou mais caminhos de configuração, para que você possa escolher a abordagem que corresponda à forma como seus desenvolvedores executam o agente.
Tópicos
-
Claude Code — Configure o Claude Code usando um token portador (indivíduos e pequenas equipes) ou uma implementação corporativa com SSO corporativo.
-
Configurar o OpenTelemetry para o OpenAI Codex — Configure o OpenAI Codex usando um token de portador (indivíduos e pequenas equipes) ou uma implementação corporativa com autenticação única (SSO) corporativa.
-
Configure o OpenTelemetry para o GitHub Copilot — Configure o GitHub Copilot usando um token de portador.
Visualize os painéis
Depois que um agente começar a enviar métricas, visualize os painéis no console.
Para visualizar os painéis do Coding Agent Insights
-
Abra o console do CloudWatch, em https://console.aws.amazon.com/cloudwatch/
. -
No painel de navegação, escolha GenAI Observability e, em seguida, Coding Agent Insights.
-
Escolha a guia do seu agente de codificação. As métricas geralmente aparecem alguns minutos após o envio dos dados pelo agente.
nota
As métricas podem ser consultadas com o PromQL, assim, você também pode criar seus próprios painéis e alarmes. Para obter mais informações, consulte Consultas do PromQL.
