데이터 세트 스키마

데이터 세트에는 하나 이상의 시나리오가 포함됩니다. 각 시나리오는 에이전트와의 대화(세션)를 나타냅니다. 온디맨드 데이터 세트 실행기와 배치 데이터 세트 실행기 모두 동일한 데이터 세트 형식을 사용합니다.

AgentCore SDK는 두 가지 시나리오 유형을 지원합니다.

FileDatasetProvider는 JSON 구조에서 시나리오 유형을 자동 감지합니다. turns 필드가 있는 시나리오는 사전 정의된 대로 로드되고 actor_profile 필드가 있는 시나리오( 및 없음turns)는 시뮬레이션된 대로 로드됩니다.

미리 정의된 시나리오

사전 정의된 시나리오는 알려진 입력 및 선택적 예상 출력이 있는 고정 회전 시퀀스를 지정합니다.

단일 회전 예제

각 시나리오는 하나의 프롬프트를 전송하고 응답을 확인합니다.

{
  "scenarios": [
    {
      "scenario_id": "math-question",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        }
      ],
      "expected_trajectory": ["calculator"],
      "assertions": ["Agent used the calculator tool to compute the result"]
    },
    {
      "scenario_id": "weather-check",
      "turns": [
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["weather"],
      "assertions": ["Agent used the weather tool"]
    }
  ]
}

멀티턴 예제

다중 회전 시나리오에는 시나리오당 여러 회전이 있습니다. 동일한 세션 내에서 순차적으로 실행하여 대화 컨텍스트를 유지합니다. 각 턴에는 고유한가 있을 수 있지만 expected_response및는 전체 세션에 assertions expected_trajectory 적용됩니다.

{
  "scenarios": [
    {
      "scenario_id": "math-then-weather",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        },
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["calculator", "weather"],
      "assertions": [
        "Agent used the calculator tool for the math question",
        "Agent used the weather tool when asked about weather"
      ]
    }
  ]
}

시나리오 필드

필드 턴

시뮬레이션된 시나리오

시뮬레이션된 시나리오는 액터 프로파일과 초기 입력을 정의합니다. 액터는 후속 회전을 동적으로 생성합니다.

{
  "scenarios": [
    {
      "scenario_id": "geography-student",
      "scenario_description": "A curious student asks geography questions",
      "actor_profile": {
        "traits": {"expertise": "novice", "tone": "curious"},
        "context": "A student studying world geography who wants to learn about capitals",
        "goal": "Find out the capital cities of at least two different countries"
      },
      "input": "Hi! I'm studying geography. Can you help me learn about world capitals?",
      "max_turns": 5,
      "assertions": [
        "Agent provides accurate capital city information",
        "Agent is helpful and encouraging to the student"
      ]
    }
  ]
}

시나리오 필드

실측 정보 매핑

두 러너 모두 데이터세트 필드를 사용하는 평가자에게 자동으로 매핑합니다.

실측 정보 필드와 평가 API의 작동 방식에 대한 자세한 내용은 실측 정보 평가를 참조하세요.

인라인 데이터 세트 구성

JSON 파일에서 로드하는 대신 Python에서 직접 데이터 세트를 구성할 수 있습니다.

from bedrock_agentcore.evaluation import Dataset, PredefinedScenario, Turn

dataset = Dataset(
    scenarios=[
        PredefinedScenario(
            scenario_id="math-question",
            turns=[
                Turn(
                    input="What is 15 + 27?",
                    expected_response="15 + 27 = 42",
                ),
            ],
            expected_trajectory=["calculator"],
            assertions=["Agent used the calculator tool"],
        ),
        PredefinedScenario(
            scenario_id="weather-check",
            turns=[
                Turn(input="What's the weather?"),
            ],
            expected_trajectory=["weather"],
        ),
    ]
)

또는 JSON 파일에서 로드합니다.

from bedrock_agentcore.evaluation import FileDatasetProvider

dataset = FileDatasetProvider("dataset.json").get_dataset()