Schema del set di dati

Un set di dati contiene uno o più scenari. Ogni scenario rappresenta una conversazione (sessione) con l'agente. Sia i gestori di set di dati su richiesta che quelli in batch utilizzano lo stesso formato di set di dati.

L' AgentCore SDK supporta due tipi di scenari:

FileDatasetProviderrileva automaticamente il tipo di scenario dalla struttura JSON: gli scenari con un turns campo vengono caricati come predefinito; gli scenari con un actor_profile campo (e noturns) vengono caricati come simulati.

Scenari predefiniti

Uno scenario predefinito specifica una sequenza fissa di giri con ingressi noti e uscite previste opzionali.

Single-turn esempio

Ogni scenario invia un prompt e verifica la risposta:

{
  "scenarios": [
    {
      "scenario_id": "math-question",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        }
      ],
      "expected_trajectory": ["calculator"],
      "assertions": ["Agent used the calculator tool to compute the result"]
    },
    {
      "scenario_id": "weather-check",
      "turns": [
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["weather"],
      "assertions": ["Agent used the weather tool"]
    }
  ]
}

Multi-turn esempio

Multi-turn gli scenari hanno più turni per scenario. I turni vengono eseguiti in sequenza all'interno della stessa sessione, mantenendo il contesto della conversazione. Ogni turno può avere il suo expected_response periodo assertions e expected_trajectory applicarsi all'intera sessione:

{
  "scenarios": [
    {
      "scenario_id": "math-then-weather",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        },
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["calculator", "weather"],
      "assertions": [
        "Agent used the calculator tool for the math question",
        "Agent used the weather tool when asked about weather"
      ]
    }
  ]
}

Campi dello scenario

Trasforma i campi

Scenari simulati

Uno scenario simulato definisce un profilo dell'attore e un input iniziale. L'attore genera i turni successivi in modo dinamico:

{
  "scenarios": [
    {
      "scenario_id": "geography-student",
      "scenario_description": "A curious student asks geography questions",
      "actor_profile": {
        "traits": {"expertise": "novice", "tone": "curious"},
        "context": "A student studying world geography who wants to learn about capitals",
        "goal": "Find out the capital cities of at least two different countries"
      },
      "input": "Hi! I'm studying geography. Can you help me learn about world capitals?",
      "max_turns": 5,
      "assertions": [
        "Agent provides accurate capital city information",
        "Agent is helpful and encouraging to the student"
      ]
    }
  ]
}

Campi dello scenario

Mappatura della verità fondamentale

Entrambi i runner mappano automaticamente i campi del set di dati ai valutatori che li utilizzano:

Per maggiori dettagli sui campi di base e su come funzionano con l'API Evaluate, consulta Ground truth evaluations.

Costruzione di set di dati in linea

Invece di caricare da un file JSON, puoi costruire set di dati direttamente in Python:

from bedrock_agentcore.evaluation import Dataset, PredefinedScenario, Turn

dataset = Dataset(
    scenarios=[
        PredefinedScenario(
            scenario_id="math-question",
            turns=[
                Turn(
                    input="What is 15 + 27?",
                    expected_response="15 + 27 = 42",
                ),
            ],
            expected_trajectory=["calculator"],
            assertions=["Agent used the calculator tool"],
        ),
        PredefinedScenario(
            scenario_id="weather-check",
            turns=[
                Turn(input="What's the weather?"),
            ],
            expected_trajectory=["weather"],
        ),
    ]
)

Oppure carica da un file JSON:

from bedrock_agentcore.evaluation import FileDatasetProvider

dataset = FileDatasetProvider("dataset.json").get_dataset()