평가자 생성

agentcore add evaluator \
  --name "your_custom_evaluator_name" \
  --config custom_evaluator_config.json \
  --level "TRACE"

이 명령은 로컬 agentcore.json 구성에 평가자를 추가합니다. agentcore deploy를 실행하여 AWS 계정에서 생성합니다.

사용자 지정 평가자의 이름을 입력합니다.

평가 수준: 세션, 추적 또는 도구 호출을 선택합니다.

평가할 LLM 판단 모델을 선택합니다.

평가 지침을 입력합니다. 프롬프트에는 대화 기록용 또는 {available_tools} 도구 목록{context}용 자리 표시자가 하나 이상 포함되어야 합니다.

등급 조정 사전 설정을 선택하거나 사용자 지정 조정을 정의합니다.

평가자 구성을 검토하고 Enter 키를 눌러 확인합니다.

import json
from bedrock_agentcore_starter_toolkit import Evaluation

eval_client = Evaluation()

# Load the configuration JSON file
with open('custom_evaluator_config.json') as f:
    evaluator_config = json.load(f)

# Create the custom evaluator
custom_evaluator = eval_client.create_evaluator(
    name="your_custom_evaluator_name",
    level="TRACE",
    description="Response quality evaluator",
    config=evaluator_config
)

import boto3
import json

client = boto3.client('bedrock-agentcore-control')

# Load the configuration JSON file
with open('custom_evaluator_config.json') as f:
    evaluator_config = json.load(f)

# Create the custom evaluator
response = client.create_evaluator(
    evaluatorName="your_custom_evaluator_name",
    level="TRACE",
    evaluatorConfig=evaluator_config
)

aws bedrock-agentcore-control create-evaluator \
    --evaluator-name 'your_custom_evaluator_name' \
    --level TRACE \
    --evaluator-config file://custom_evaluator_config.json

이 평가자는 LLM을 사용하여 예상 도구 궤적과 실제 도구 궤적을 비교하여 추가 헬퍼 도구 호출과 같은 사소한 편차를 허용하는 등 미묘한 판단을 내릴 수 있습니다. expected_tool_trajectory 및 actual_tool_trajectory 자리 표시자를 사용합니다.

다음을 trajectory_compliance_config.json 로 저장합니다.

{
  "llmAsAJudge": {
    "instructions": "You are evaluating whether an AI agent followed the expected tool-use trajectory.\n\nExpected trajectory (ordered list of tool names):\n{expected_tool_trajectory}\n\nActual trajectory (ordered list of tool names the agent used):\n{actual_tool_trajectory}\n\nFull session context:\n{context}\n\nAvailable tools:\n{available_tools}\n\nCompare the expected and actual trajectories. Consider whether the agent called the right tools in the right order. Minor deviations (e.g., an extra logging tool call) are acceptable if the core trajectory is preserved.",
    "ratingScale": {
      "numerical": [
        { "label": "No Match",      "value": 0.0, "definition": "The actual trajectory has no meaningful overlap with the expected trajectory" },
        { "label": "Partial Match", "value": 0.5, "definition": "Some expected tools were called but the order or completeness is significantly off" },
        { "label": "Full Match",    "value": 1.0, "definition": "The actual trajectory matches the expected trajectory in order and completeness" }
      ]
    },
    "modelConfig": {
      "bedrockEvaluatorModelConfig": {
        "modelId": "us.anthropic.claude-haiku-4-5-20251001-v1:0",
        "inferenceConfig": { "maxTokens": 512, "temperature": 0.0 }
      }
    }
  }
}

평가자를 생성합니다.

aws bedrock-agentcore-control create-evaluator \
  --evaluator-name 'TrajectoryCompliance' \
  --level SESSION \
  --description 'Evaluates whether the agent followed the expected tool trajectory.' \
  --evaluator-config file://trajectory_compliance_config.json

이 평가자는 에이전트의 동작이 일련의 어설션을 충족하는지 확인하여 범주형 PASS/FAIL/INCONCLUSIVE 결과를 반환합니다. 및 context와 함께 assertions 자리 표시자를 사용합니다available_tools.

다음을 assertion_checker_config.json 로 저장합니다.

{
  "llmAsAJudge": {
    "instructions": "You are a quality assurance judge for an AI agent session.\n\nSession context (full conversation history):\n{context}\n\nAvailable tools:\n{available_tools}\n\nAssertions to verify:\n{assertions}\n\nFor each assertion, determine if the session satisfies it. The overall verdict should be PASS only if ALL assertions are satisfied. If any assertion fails, the verdict is FAIL. If the session data is insufficient to determine, verdict is INCONCLUSIVE.",
    "ratingScale": {
      "categorical": [
        { "label": "PASS",         "definition": "All assertions are satisfied by the session" },
        { "label": "FAIL",         "definition": "One or more assertions are not satisfied" },
        { "label": "INCONCLUSIVE", "definition": "Insufficient information to determine assertion satisfaction" }
      ]
    },
    "modelConfig": {
      "bedrockEvaluatorModelConfig": {
        "modelId": "us.anthropic.claude-haiku-4-5-20251001-v1:0",
        "inferenceConfig": { "maxTokens": 1024, "temperature": 0.0 }
      }
    }
  }
}

평가자를 생성합니다.

aws bedrock-agentcore-control create-evaluator \
  --evaluator-name 'AssertionChecker' \
  --level SESSION \
  --description 'Checks whether the agent session satisfies a set of assertions.' \
  --evaluator-config file://assertion_checker_config.json

이 평가자는 에이전트의 실제 응답을 예상 응답과 비교하여 의미론적 유사성을 평가합니다. 자리 expected_response 표시자를 사용하여 평가 시 실측 정보를 수신합니다.

다음을 response_similarity_config.json 로 저장합니다.

{
  "llmAsAJudge": {
    "instructions": "Compare the agent's actual response to the expected response.\n\nConversation context:\n{context}\n\nAgent's actual response:\n{assistant_turn}\n\nExpected response:\n{expected_response}\n\nEvaluate semantic similarity. The agent does not need to match word-for-word, but the meaning, key facts, and intent should align. Penalize missing critical information or contradictions.",
    "ratingScale": {
      "numerical": [
        { "label": "No Match",        "value": 0.0,  "definition": "The response contradicts or is completely unrelated to the expected response" },
        { "label": "Low Similarity",   "value": 0.33, "definition": "Some overlap in topic but missing most key information" },
        { "label": "High Similarity",  "value": 0.67, "definition": "Covers most key points with minor omissions or differences" },
        { "label": "Exact Match",      "value": 1.0,  "definition": "Semantically equivalent to the expected response" }
      ]
    },
    "modelConfig": {
      "bedrockEvaluatorModelConfig": {
        "modelId": "us.anthropic.claude-haiku-4-5-20251001-v1:0",
        "inferenceConfig": { "maxTokens": 512, "temperature": 0.0 }
      }
    }
  }
}

평가자를 생성합니다.

aws bedrock-agentcore-control create-evaluator \
  --evaluator-name 'ResponseSimilarity' \
  --level TRACE \
  --description 'Evaluates how closely the agent response matches the expected response.' \
  --evaluator-config file://response_similarity_config.json