schéma du jeu de données

Un jeu de données contient un ou plusieurs scénarios. Chaque scénario représente une conversation (session) avec l'agent. Les exécuteurs de jeux de données à la demande et par lots utilisent le même format de jeu de données.

Le AgentCore SDK prend en charge deux types de scénarios :

FileDatasetProviderdétecte automatiquement le type de scénario à partir de la structure JSON : les scénarios avec un turns champ sont chargés comme prédéfinis ; les scénarios avec un actor_profile champ (et nonturns) sont chargés tels que simulés.

Scénarios prédéfinis

Un scénario prédéfini définit une séquence fixe de tours avec des entrées connues et des sorties attendues facultatives.

Single-turn exemple

Chaque scénario envoie une invite et vérifie la réponse :

{
  "scenarios": [
    {
      "scenario_id": "math-question",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        }
      ],
      "expected_trajectory": ["calculator"],
      "assertions": ["Agent used the calculator tool to compute the result"]
    },
    {
      "scenario_id": "weather-check",
      "turns": [
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["weather"],
      "assertions": ["Agent used the weather tool"]
    }
  ]
}

Multi-turn exemple

Multi-turn les scénarios comportent plusieurs tours par scénario. Les tours s'exécutent de manière séquentielle au cours de la même session, en conservant le contexte de la conversation. Chaque tour peut avoir le sienexpected_response, pendant assertions et expected_trajectory s'appliquer à l'ensemble de la session :

{
  "scenarios": [
    {
      "scenario_id": "math-then-weather",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        },
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["calculator", "weather"],
      "assertions": [
        "Agent used the calculator tool for the math question",
        "Agent used the weather tool when asked about weather"
      ]
    }
  ]
}

Champs de scénario

Tourner les champs

Scénarios simulés

Un scénario simulé définit un profil d'acteur et une entrée initiale. L'acteur génère les tours suivants de manière dynamique :

{
  "scenarios": [
    {
      "scenario_id": "geography-student",
      "scenario_description": "A curious student asks geography questions",
      "actor_profile": {
        "traits": {"expertise": "novice", "tone": "curious"},
        "context": "A student studying world geography who wants to learn about capitals",
        "goal": "Find out the capital cities of at least two different countries"
      },
      "input": "Hi! I'm studying geography. Can you help me learn about world capitals?",
      "max_turns": 5,
      "assertions": [
        "Agent provides accurate capital city information",
        "Agent is helpful and encouraging to the student"
      ]
    }
  ]
}

Champs de scénario

Cartographie de la vérité sur

Les deux coureurs mappent automatiquement les champs du jeu de données aux évaluateurs qui les utilisent :

Pour plus de détails sur les champs de vérité sur le terrain et sur leur fonctionnement avec l'API Evaluate, consultez la section Évaluations de vérité de terrain.

Construction de jeux de données en ligne

Au lieu de les charger depuis un fichier JSON, vous pouvez créer des ensembles de données directement en Python :

from bedrock_agentcore.evaluation import Dataset, PredefinedScenario, Turn

dataset = Dataset(
    scenarios=[
        PredefinedScenario(
            scenario_id="math-question",
            turns=[
                Turn(
                    input="What is 15 + 27?",
                    expected_response="15 + 27 = 42",
                ),
            ],
            expected_trajectory=["calculator"],
            assertions=["Agent used the calculator tool"],
        ),
        PredefinedScenario(
            scenario_id="weather-check",
            turns=[
                Turn(input="What's the weather?"),
            ],
            expected_trajectory=["weather"],
        ),
    ]
)

Ou chargez depuis un fichier JSON :

from bedrock_agentcore.evaluation import FileDatasetProvider

dataset = FileDatasetProvider("dataset.json").get_dataset()