View a markdown version of this page

Amazon CloudWatch Coding Agent Insights를 사용하여 AI 코딩 에이전트 모니터링 - Amazon CloudWatch
사전 조건설정 안내서대시보드 보기

Amazon CloudWatch Coding Agent Insights를 사용하여 AI 코딩 에이전트 모니터링

OpenAI Codex, Claude Code, GitHub Copilot 등의 AI 코딩 에이전트는 개발자가 이를 사용하는 방법에 대한 OpenTelemetry(OTel) 원격 분석(토큰 소비, 턴당 지연 시간, 도구 직접 호출, API 요청 및 승인)을 내보냅니다. Amazon CloudWatch로 이 원격 분석을 전송하면 채택을 모니터링하고, 팀 및 부서별 사용량과 비용을 파악하고, 개발자 플릿 전체에서 성능 또는 신뢰성 문제를 파악할 수 있습니다.

CloudWatch는 콘솔의 GenAI Observability, Coding Agent Insights에서 바로 사용 가능한 대시보드 세트인 Coding Agent Insights를 제공합니다. 대시보드를 사용하면 조직, 부서, 팀, 비용 센터, 사용자 등의 조직 속성별로 사용량을 세분화하고 분석하여 플릿 전체에서 채택과 비용을 비교할 수 있습니다. 추가 분석을 위해 기본 데이터를 CSV로 내보낼 수도 있습니다. 이러한 대시보드는 직접 생성하거나 가져올 필요가 없습니다 에이전트가 예상된 형식으로 지표를 전송하는 즉시 대시보드가 자동으로 표시되고 데이터가 채워집니다. 사용자가 해야 할 일은 각 에이전트가 OTel 지표를 CloudWatch에 게시하도록 구성하는 것입니다.

중요

Coding Agent Insights 대시보드는 특정 지표와 속성 형식을 기반으로 합니다. 각 에이전트의 네이티브 OTel 지표에는 대시보드의 핵심 차원(예: model 및 token_type)이 포함됩니다. user.email, team.id, department, cost_center, organization 등의 ID 및 조직 속성은 OTel 리소스 속성으로 전송되어야 합니다. 이 섹션의 설정 가이드에서는 이러한 형식으로 원격 분석을 내보내도록 각 에이전트를 구성합니다. 지표 이름을 변경하거나 리소스에서 ID 속성을 이동하면 대시보드에 데이터가 표시되지 않을 수 있습니다.

사전 조건

코딩 에이전트는 CloudWatch 네이티브 OTLP 지표 엔드포인트로 지표를 전송합니다. 에이전트를 구성하기 전에 해당 엔드포인트를 숙지해야 합니다. 자세한 내용은 OTLP 엔드포인트 및 시작하기(을)를 참조하세요.

설정 안내서

코딩 에이전트에 맞는 가이드를 선택합니다. 각 가이드는 하나 이상의 설정 경로를 다루므로 개발자가 에이전트를 실행하는 방식에 맞는 접근 방식을 선택할 수 있습니다.

주제

    • Claude Code - Bearer 토큰(개인 및 소규모 팀)을 사용하여 Claude Code를 구성하거나 기업 SSO를 사용하여 엔터프라이즈 롤아웃을 구성합니다.

    • OpenAI Codex용 OpenTelemetry 설정 - Bearer 토큰(개인 및 소규모 팀)을 사용하여 OpenAI Codex를 구성하거나 기업 Single Sign-On(SSO)을 사용하여 엔터프라이즈 롤아웃을 구성합니다.

    • GitHub Copilot용 OpenTelemetry 설정 - Bearer 토큰을 사용하여 GitHub Copilot을 구성합니다.

    대시보드 보기

    에이전트가 지표 전송을 시작하면 콘솔에서 대시보드를 봅니다.

    Coding Agent Insights 대시보드를 보려면

    1. https://console.aws.amazon.com/cloudwatch/에서 CloudWatch 콘솔을 엽니다.

    2. 탐색 창에서 GenAI Observability를 선택하고 Coding Agent Insights를 선택합니다.

    3. 사용 중인 코딩 에이전트에 해당하는 탭을 선택합니다. 일반적으로 에이전트가 데이터를 전송한 후 몇 분 이내에 지표가 표시됩니다.

    참고

    PromQL로 지표를 쿼리할 수 있으므로 사용자가 대시보드와 경보를 직접 구축할 수도 있습니다. 자세한 내용은 PromQL 쿼리 섹션을 참조하세요.