Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

esquema de conjunto de datos

Un conjunto de datos contiene uno o más escenarios. Cada escenario representa una conversación (sesión) con el agente. Tanto los ejecutores de conjuntos de datos por lotes como bajo demanda utilizan el mismo formato de conjunto de datos.

El AgentCore SDK admite dos tipos de escenarios:

FileDatasetProviderdetecta automáticamente el tipo de escenario a partir de la estructura JSON: los escenarios con un turns campo se cargan como predefinidos; los escenarios con un actor_profile campo (y sin élturns) se cargan como simulados.

Escenarios predefinidos

Un escenario predefinido especifica una secuencia fija de giros con entradas conocidas y salidas esperadas opcionales.

Single-turn ejemplo

Cada escenario envía un mensaje y comprueba la respuesta:

{
  "scenarios": [
    {
      "scenario_id": "math-question",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        }
      ],
      "expected_trajectory": ["calculator"],
      "assertions": ["Agent used the calculator tool to compute the result"]
    },
    {
      "scenario_id": "weather-check",
      "turns": [
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["weather"],
      "assertions": ["Agent used the weather tool"]
    }
  ]
}

Multi-turn ejemplo

Multi-turn los escenarios tienen varios turnos por escenario. Los turnos se ejecutan de forma secuencial dentro de la misma sesión, manteniendo el contexto de la conversación. Cada turno puede tener su propia expected_response duración assertions y expected_trajectory aplicarse a toda la sesión:

{
  "scenarios": [
    {
      "scenario_id": "math-then-weather",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        },
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["calculator", "weather"],
      "assertions": [
        "Agent used the calculator tool for the math question",
        "Agent used the weather tool when asked about weather"
      ]
    }
  ]
}

Campos de escenario

Cambie los campos

Escenarios simulados

Un escenario simulado define un perfil de actor y una entrada inicial. El actor genera los siguientes turnos de forma dinámica:

{
  "scenarios": [
    {
      "scenario_id": "geography-student",
      "scenario_description": "A curious student asks geography questions",
      "actor_profile": {
        "traits": {"expertise": "novice", "tone": "curious"},
        "context": "A student studying world geography who wants to learn about capitals",
        "goal": "Find out the capital cities of at least two different countries"
      },
      "input": "Hi! I'm studying geography. Can you help me learn about world capitals?",
      "max_turns": 5,
      "assertions": [
        "Agent provides accurate capital city information",
        "Agent is helpful and encouraging to the student"
      ]
    }
  ]
}

Campos de escenario

Mapeo de la verdad básica

Ambos corredores asignan automáticamente los campos del conjunto de datos a los evaluadores que los utilizan:

Para obtener más información sobre los campos de Ground Truth y cómo funcionan con la API Evaluate, consulta las evaluaciones de Ground Truth.

Construcción de conjuntos de datos en línea

En lugar de cargarlos desde un archivo JSON, puedes crear conjuntos de datos directamente en Python:

from bedrock_agentcore.evaluation import Dataset, PredefinedScenario, Turn

dataset = Dataset(
    scenarios=[
        PredefinedScenario(
            scenario_id="math-question",
            turns=[
                Turn(
                    input="What is 15 + 27?",
                    expected_response="15 + 27 = 42",
                ),
            ],
            expected_trajectory=["calculator"],
            assertions=["Agent used the calculator tool"],
        ),
        PredefinedScenario(
            scenario_id="weather-check",
            turns=[
                Turn(input="What's the weather?"),
            ],
            expected_trajectory=["weather"],
        ),
    ]
)

O carga desde un archivo JSON:

from bedrock_agentcore.evaluation import FileDatasetProvider

dataset = FileDatasetProvider("dataset.json").get_dataset()