AI 코딩 도우미를 사용하여 AgentCore 평가 문제 진단

AgentCore 평가 구성이 결과를 생성하지 않거나 LogEventMissingException, AgentSpanMappingException또는 빈 평가 점수와 같은 오류가 표시되는 경우 AgentCore 평가 진단 기술을 사용하여 문제를 직접 해결할 수 있습니다.

스킬은 모든 AI 코딩 어시스턴트와 함께 작동하는 마크다운 파일입니다. 어시스턴트에 로드하고 AWS 리전, 배포 유형 및 선택적으로 세션 ID를 제공하면 어시스턴트가 step-by-step 진단을 안내합니다. 스킬은 AgentCore 런타임에 배포된 에이전트 및 타사 인프라(Amazon ECS, Amazon EKS, AWS Lambda 또는 기타 환경)에서 호스팅되는 에이전트와 함께 작동합니다. 어시스턴트는 자체 Amazon CloudWatch 로그 그룹을 쿼리하여 근본 원인을 식별하고 수정을 권장합니다.

스킬이 진단하는 내용

스킬은 가장 일반적인 평가 문제를 다룹니다.

사전 조건

스킬 복사

스킬 소스는 진단 스킬 소스에서 사용할 수 있습니다. 해당 주제에서 전체 코드 블록을 복사하고 agentcore-eval-diagnostic/ 시스템에 라는 새 폴더 SKILL.md 내에 로 저장합니다.

스킬은 일반 마크다운 파일입니다. 여기에는 퍼블릭 정보만 포함되며 자체 계정에 대해서만 실행되므로 서비스 측 액세스가 필요하지 않습니다.

AI 코딩 어시스턴트에 스킬 로드

진단 스킬 소스의 스킬 소스를 agentcore-eval-diagnostic/ 시스템의 라는 폴더 SKILL.md 내부로 저장한 다음 해당 폴더를 AI 코딩 어시스턴트의 스킬 디렉터리로 이동하거나 복사합니다. 스킬은 열린 에이전트 스킬 표준을 따르므로 각 도구가 자체 전용 스킬 폴더에서 이를 검색하므로 AGENTS.md, CLAUDE.md또는와 같은 일반 명령 파일에 스킬 콘텐츠를 추가하지 않습니다GEMINI.md.

Kiro CLI

스킬 폴더를 프로젝트의 또는 .kiro/skills/agentcore-eval-diagnostic/에 배치~/.kiro/skills/agentcore-eval-diagnostic/하여 모든 워크스페이스에서 사용할 수 있도록 합니다. 설정 세부 정보는 Kiro CLI 기술 설명서를 참조하세요.

Claude Code

스킬 폴더를 프로젝트의 또는 .claude/skills/agentcore-eval-diagnostic/에 배치~/.claude/skills/agentcore-eval-diagnostic/하여 모든 프로젝트에서 사용할 수 있도록 합니다. 설정 세부 정보는 Claude Code 기술 설명서를 참조하세요.

OpenAI Codex CLI

스킬 폴더를 리포지토리의 또는 .agents/skills/agentcore-eval-diagnostic/에 배치~/.agents/skills/agentcore-eval-diagnostic/하여 모든 리포지토리에서 사용할 수 있도록 합니다. 설정 세부 정보는 Codex CLI 기술 설명서를 참조하세요.

Cursor

커서는 기술 대신 규칙을 사용합니다. 스킬 콘텐츠를에 프로젝트 규칙으로 저장합니다.cursor/rules/agentcore-eval-diagnostic.md. 설정 세부 정보는 커서 규칙 설명서를 참조하세요.

Gemini CLI

스킬 폴더를에 배치~/.gemini/skills/agentcore-eval-diagnostic/하여 모든 워크스페이스에서 사용할 수 있도록 하거나 프로젝트 범위의 사용을 위해 프로젝트의 스킬 디렉터리에 배치합니다. 설정 세부 정보는 Gemini CLI 기술 설명서를 참조하세요.

기타 AI 어시스턴트

어시스턴트가 에이전트 스킬 표준을 지원하는 경우 어시스턴트가 스킬을 검색하는 데 사용하는 디렉터리에 스킬 폴더를 배치합니다. 어시스턴트가 에이전트 스킬을 지원하지 않는 경우의 콘텐츠를 시스템 프롬프트, 사용자 메시지 또는 컨텍스트 파일에 붙여 SKILL.md 넣어 스킬을 로드합니다. 스킬은 독립형이며 도구별 기능에 의존하지 않습니다.

진단 실행

스킬을 로드한 후 AI 어시스턴트와 새 채팅을 시작하고 다음을 제공합니다.

어시스턴트는 CloudWatch 로그 그룹을 쿼리하고, 장애의 근본 원인을 식별하고, 구조화된 진단 보고서를 생성합니다. 보고서에는 다음이 포함됩니다.

어시스턴트는 자체 CloudWatch 로그 그룹에 대해 자체 AWS 계정의 모든 쿼리를 실행합니다. AWS 서비스 측 로그 또는 내부 데이터에 액세스하지 않습니다.

상호 작용 예제

사용자: 내 리전은 이고us-west-2, 온라인 평가와 함께 AgentCore 런타임을 사용하고 있으며, 세션 ID는 입니다my-session-abc123. 내 평가에서 결과가 나오지 않습니다. 진단할 수 있나요?

AI 어시스턴트:

## AgentCore Evaluation Diagnostic Report

Session: my-session-abc123
Region: us-west-2

Summary: Service name mismatch — spans are emitted under
'my_agent.DEFAULT' but the evaluation configuration expects
'wrong_name.DEFAULT'.

Findings:
| Check                | Status | Details |
| -------------------- | ------ | ------- |
| Eval config status   | OK     | ENABLED, 100% sampling |
| Spans found          | OK     | 15 spans for this session |
| Scope support        | OK     | strands.telemetry.tracer found |
| Service name match   | FAIL   | Config expects wrong_name.DEFAULT |

Recommended fix: Update the evaluation configuration's serviceNames to
match 'my_agent.DEFAULT'.

스킬 자체 문제 해결

어시스턴트가 로그 그룹을 쿼리할 수 없는 경우 다음을 확인합니다.

관련 설명서