AgentCore 인사이트: 패턴 분석을 사용하여 에이전트 실패 분류
참고
AgentCore 인사이트는 공개 미리 보기에 있습니다. 기능 및 APIs 정식 출시 전에 변경될 수 있습니다.
참고
ap-south-1에서 AgentCore 인사이트를 사용하는 경우 서비스는 Bedrock APAC 리전 간 추론 프로파일을 사용합니다. ap-northeast-2에서 AgentCore 인사이트를 사용하는 경우 서비스는 Bedrock 글로벌 리전 간 추론 프로파일을 사용합니다. 두 경우 모두 요청이 프로필의 대상 리전으로 라우팅될 수 있습니다. 이 라우팅은 해당 리전에 옵트인하지 않았거나 서비스 제어 정책에서 추론을 명시적으로 거부한 경우에도 발생할 수 있습니다. 입력 프롬프트 및 출력 결과는 남용 탐지를 위해 이러한 대상 리전에 저장될 수 있습니다.
Amazon Bedrock AgentCore 인사이트는 에이전트 세션을 분석하여 실패 패턴을 식별하고, 사용자 의도를 추출하고, 실행 동작을 요약합니다. Insights는 채점 이상의 분류 분석을 제공하여 AgentCore 평가를 확장합니다. 에이전트가 실패하는 이유와 사용자가 달성하려고 하는 사항을 알려줍니다.
AgentCore 인사이트는 세 가지 분석 유형을 제공합니다.
-
실패 분석: 에이전트 세션의 실패를 식별하고, 세부 분류(도구 오류, 할루시네이션, 잘못된 추론, 반복 동작 등)를 사용하여 분류하고, 근본 원인을 특정 범위로 다시 추적하고, 수정 권장 사항을 제공합니다.
-
사용자 의도 추출: 사용자가 각 세션에서 달성하려는 것을 추출한 다음 유사한 의도를 함께 클러스터링하여 에이전트가 처리하는 가장 일반적인 사용 사례를 보여줍니다.
-
실행 요약: 에이전트가 각 세션에 대해 취한 접근 방식과 결과를 요약한 다음 유사한 실행 패턴을 클러스터링하여 에이전트가 일반적으로 문제를 해결하는 방법을 보여줍니다.
세션별 분석 후 서비스 클러스터는 세션 간에 결과를 생성하여 반복 패턴을 표시합니다. 장애 분석의 경우 장애 범주 → 하위 범주 → 근본 원인 클러스터, 각각 영향을 받는 세션, 설명 및 문제 해결 권장 사항의 3단계 계층 구조가 생성됩니다.
인사이트가 트리거되는 방법
인사이트 분석은 다음 두 가지 방법으로 트리거할 수 있습니다.
-
배치 평가를 통한 일회성:
StartBatchEvaluation를 호출insights하여 일정 세션 범위에서 분석을 실행합니다. 결과는를 통해 반환됩니다GetBatchEvaluation. -
클러스터링 일정을 통한 반복: 하나 이상의 빈도(
DAILY, 또는 )로 온라인 평가 구성ClusteringConfig에서WEEKLY를 구성합니다MONTHLY. 서비스는 구성된 주기에 배치 평가 작업을 자동으로 트리거합니다. 반복 일정에서 사용자 지정 보고서를 생성하여 특정 날짜 및 시간에 고정할 수도 있습니다.
세션별 인사이트 분석은 CreateOnlineEvaluationConfig를 통해 인사이트를 구성할 때 자동으로 실행되지만, 패턴을 표시하는 클러스터링된 결과는 배치 평가 작업 중에만 생성됩니다.
분류에서 최적화로
AgentCore 인사이트는 AgentCore 최적화와 함께 작동하여 개선 루프를 닫습니다. 인사이트가 실패 패턴과 근본 원인을 식별한 후 이러한 결과를 권장 사항 API에 피드하여 분류된 문제를 해결하는 향상된 시스템 프롬프트를 생성할 수 있습니다. 이렇게 하면 진단 출력이 실행 가능한 구성 변경으로 바뀝니다.
-
분류: 인사이트를 실행하여 반복되는 장애 범주 및 근본 원인을 식별합니다.
-
권장 사항 생성: 현재 시스템 프롬프트
StartRecommendation로를 호출하고 동일한 에이전트 추적을 가리킵니다. 서비스는 변경된 사항에 대한 설명과 함께 권장 시스템 프롬프트를 생성합니다. -
검증: A/B 테스트를 사용하여 원래 및 권장 구성을 라이브 트래픽과 비교합니다.
