# 생성형 AI 관찰성
<a name="GenAI-observability"></a>

Amazon CloudWatch를 사용하면 [Amazon Bedrock AgentCore 에이전트](https://aws.amazon.com/bedrock/agentcore/)를 포함한 생성형 AI 워크로드를 관찰하고 AI 성능, 상태 및 정확도에 대한 인사이트를 얻을 수 있습니다. CloudWatch는 AI 워크로드의 지연 시간, 사용량 및 오류에 대해 미리 구성된 보기를 제공하므로 이를 통해 모델 및 에이전트와 같은 구성 요소에서 문제를 더 빠르게 감지할 수 있습니다. 포괄적인 프롬프트 추적을 사용하면 지식 기반, 도구 및 모델과 같은 구성 요소에서 문제를 빠르게 식별할 수 있습니다. CloudWatch의 AI 모니터링 기능은 [AWS Strands](https://strandsagents.com/latest/), LangChain, LangGraph 같은 인기 있는 생성형 AI 오케스트레이션 프레임워크와 호환되므로 선택한 프레임워크에 유연성을 제공합니다.

CloudWatch 생성형 AI 관찰성을 통해 다음을 지원할 수 있습니다.
+ 자동 모니터링을 통해 대규모 AI 애플리케이션 품질 및 정확도를 평가하므로 모델 출력, 응답 품질 지표, 최종 사용자 상호 작용을 캡처하여 수동 검토 요구 사항을 줄임
+ 모델 간접 호출, 에이전트(관리형, 자체 호스팅 및 타사), 지식 기반, 가드레일 및 도구 모니터링
+ 우수한 품질, 성능 및 신뢰성을 보장하면서 에이전트 실험에서 혁신적인 GenAI 애플리케이션 제작까지 개발을 주도합니다. 자세한 내용은 [What is Amazon Bedrock AgentCore?](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/what-is-genesis.html)를 참조하세요.
+ 포괄적인 프롬프트 추적, 선별된 지표 및 로그를 사용하여 오류의 원인 빠르게 식별
+ [Application Signals](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch-Application-Monitoring-Sections.html), [경보](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Alarms.html), [대시보드](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Dashboards.html), [민감한 데이터 보호](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/cloudwatch-logs-data-protection-policies.html) 및 [Logs Insights](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AnalyzingLogData.html)와 같은 기존 CloudWatch 관찰성 도구를 활용하여 전체 GenAI 애플리케이션 및 기본 인프라에서 문제 해결
+ Amazon Bedrock을 사용하는 동안 프롬프트 트레이스에 액세스하고 ADOT SDK를 사용하여 타사 모델의 구조화된 트레이스를 CloudWatch로 전송합니다. Amazon Bedrock AgentCore 에이전트 또는 도구에 관찰성을 추가하는 방법에 대한 자세한 내용은 [Amazon Bedrock AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/what-is-genesis.html)를 참조하세요.

CloudWatch 생성형 AI 관찰성은 2가지 사전 구축된 기능을 제공합니다.

**참고**  
Amazon Bedrock에서 추론에 임의의 모델을 사용하여 **모델 간접 호출** 대시보드를 사용할 수 있습니다.
+ **모델 간접 호출** - 모델 사용량, 토큰 사용량, 모델 추론의 세부 입력 및 출력 콘텐츠를 볼 수 있는 큐레이팅된 간접 호출 로그 테이블에 대한 세부 지표 대시보드
+ **Amazon Bedrock AgentCore 에이전트** - 에이전트, 메모리, 기본 제공 도구, 게이트웨이, ID 같은 Amazon Bedrock AgentCore의 기본 요소에 대한 성능 및 결정 지표

이러한 대시보드에서 사용할 수 있는 주요 지표로 다음이 포함됩니다.
+ 간접 호출 총계 및 평균
+ 토큰 사용량(총계, 쿼리당 평균, 입력, 출력)
+ 지연 시간(평균, P90, P99)
+ 오류 발생률 및 스로틀링 이벤트
+ 애플리케이션, 사용자 역할 또는 특정 사용자별 비용 어트리뷰션

**Topics**
+ [모델 간접 호출](model-invocations.md)
+ [Amazon Bedrock AgentCore](AgentCore-Agents.md)