esquema de conjunto de datos

Un conjunto de datos contiene uno o más escenarios. Cada escenario representa una conversación (sesión) con el agente. Los ejecutores de conjuntos de datos por lotes y bajo demanda utilizan el mismo formato de conjunto de datos.

El AgentCore SDK admite dos tipos de escenarios:

FileDatasetProviderdetecta automáticamente el tipo de escenario a partir de la estructura JSON: los escenarios con un turns campo se cargan como predefinidos; los escenarios con un actor_profile campo (y noturns) se cargan como simulados.

Escenarios predefinidos

Un escenario predefinido especifica una secuencia fija de giros con entradas conocidas y salidas esperadas opcionales.

Single-turn ejemplo

Cada escenario envía un mensaje y comprueba la respuesta:

{
  "scenarios": [
    {
      "scenario_id": "math-question",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        }
      ],
      "expected_trajectory": ["calculator"],
      "assertions": ["Agent used the calculator tool to compute the result"]
    },
    {
      "scenario_id": "weather-check",
      "turns": [
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["weather"],
      "assertions": ["Agent used the weather tool"]
    }
  ]
}

Multi-turn ejemplo

Multi-turn los escenarios tienen varios turnos por escenario. Los turnos se ejecutan secuencialmente dentro de la misma sesión, manteniendo el contexto de la conversación. Cada turno puede tener su propio expected_response turno assertions y expected_trajectory aplicarse a toda la sesión:

{
  "scenarios": [
    {
      "scenario_id": "math-then-weather",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        },
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["calculator", "weather"],
      "assertions": [
        "Agent used the calculator tool for the math question",
        "Agent used the weather tool when asked about weather"
      ]
    }
  ]
}

Campos de escenario

Gire los campos

Escenarios simulados

Un escenario simulado define un perfil de actor y una entrada inicial. El actor genera los turnos siguientes de forma dinámica:

{
  "scenarios": [
    {
      "scenario_id": "geography-student",
      "scenario_description": "A curious student asks geography questions",
      "actor_profile": {
        "traits": {"expertise": "novice", "tone": "curious"},
        "context": "A student studying world geography who wants to learn about capitals",
        "goal": "Find out the capital cities of at least two different countries"
      },
      "input": "Hi! I'm studying geography. Can you help me learn about world capitals?",
      "max_turns": 5,
      "assertions": [
        "Agent provides accurate capital city information",
        "Agent is helpful and encouraging to the student"
      ]
    }
  ]
}

Campos de escenario

Mapeo de la verdad fundamental

Ambos corredores asignan automáticamente los campos del conjunto de datos a los evaluadores que los utilizan:

Para obtener más información sobre los campos basados en la verdad y sobre cómo funcionan con la API Evaluate, consulte las evaluaciones basadas en la verdad.

Construcción de conjuntos de datos en línea

En lugar de cargarlos desde un archivo JSON, puedes construir conjuntos de datos directamente en Python:

from bedrock_agentcore.evaluation import Dataset, PredefinedScenario, Turn

dataset = Dataset(
    scenarios=[
        PredefinedScenario(
            scenario_id="math-question",
            turns=[
                Turn(
                    input="What is 15 + 27?",
                    expected_response="15 + 27 = 42",
                ),
            ],
            expected_trajectory=["calculator"],
            assertions=["Agent used the calculator tool"],
        ),
        PredefinedScenario(
            scenario_id="weather-check",
            turns=[
                Turn(input="What's the weather?"),
            ],
            expected_trajectory=["weather"],
        ),
    ]
)

O cárguelos desde un archivo JSON:

from bedrock_agentcore.evaluation import FileDatasetProvider

dataset = FileDatasetProvider("dataset.json").get_dataset()