Datensatz-Schema

Ein Datensatz enthält ein oder mehrere Szenarien. Jedes Szenario stellt eine Konversation (Sitzung) mit dem Agenten dar. Sowohl der On-Demand-Dataset-Runner als auch der Batch-Runner verwenden dasselbe Datensatzformat.

Das AgentCore SDK unterstützt zwei Szenariotypen:

FileDatasetProvidererkennt den Szenariotyp automatisch anhand der JSON-Struktur: Szenarien mit einem turns Feld werden als vordefiniert geladen; Szenarien mit einem actor_profile Feld (und ohneturns) werden als simuliert geladen.

Vordefinierte Szenarien

Ein vordefiniertes Szenario spezifiziert eine feste Reihenfolge von Kurven mit bekannten Eingaben und optionalen erwarteten Ergebnissen.

Single-turn Beispiel

Jedes Szenario sendet eine Aufforderung und überprüft die Antwort:

{
  "scenarios": [
    {
      "scenario_id": "math-question",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        }
      ],
      "expected_trajectory": ["calculator"],
      "assertions": ["Agent used the calculator tool to compute the result"]
    },
    {
      "scenario_id": "weather-check",
      "turns": [
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["weather"],
      "assertions": ["Agent used the weather tool"]
    }
  ]
}

Multi-turn Beispiel

Multi-turn Szenarien haben mehrere Runden pro Szenario. Runden werden nacheinander innerhalb derselben Sitzung ausgeführt, wobei der Konversationskontext erhalten bleibt. Jeder Spielzug kann eine eigene Dauer expected_response haben assertions und expected_trajectory sich auf die gesamte Sitzung beziehen:

{
  "scenarios": [
    {
      "scenario_id": "math-then-weather",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        },
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["calculator", "weather"],
      "assertions": [
        "Agent used the calculator tool for the math question",
        "Agent used the weather tool when asked about weather"
      ]
    }
  ]
}

Felder für Szenarien

Felder umdrehen

Simulierte Szenarien

Ein simuliertes Szenario definiert ein Akteurprofil und eine erste Eingabe. Der Akteur generiert nachfolgende Runden dynamisch:

{
  "scenarios": [
    {
      "scenario_id": "geography-student",
      "scenario_description": "A curious student asks geography questions",
      "actor_profile": {
        "traits": {"expertise": "novice", "tone": "curious"},
        "context": "A student studying world geography who wants to learn about capitals",
        "goal": "Find out the capital cities of at least two different countries"
      },
      "input": "Hi! I'm studying geography. Can you help me learn about world capitals?",
      "max_turns": 5,
      "assertions": [
        "Agent provides accurate capital city information",
        "Agent is helpful and encouraging to the student"
      ]
    }
  ]
}

Felder für Szenarien

Ground-Truth-Kartierung

Beide Läufer ordnen Datensatzfelder automatisch den Evaluatoren zu, die sie verwenden:

Weitere Informationen zu Ground-Truth-Feldern und ihrer Funktionsweise mit der Evaluate-API finden Sie unter Ground-Truth-Evaluierungen.

Erstellung von Inline-Datensätzen

Anstatt aus einer JSON-Datei zu laden, können Sie Datensätze direkt in Python erstellen:

from bedrock_agentcore.evaluation import Dataset, PredefinedScenario, Turn

dataset = Dataset(
    scenarios=[
        PredefinedScenario(
            scenario_id="math-question",
            turns=[
                Turn(
                    input="What is 15 + 27?",
                    expected_response="15 + 27 = 42",
                ),
            ],
            expected_trajectory=["calculator"],
            assertions=["Agent used the calculator tool"],
        ),
        PredefinedScenario(
            scenario_id="weather-check",
            turns=[
                Turn(input="What's the weather?"),
            ],
            expected_trajectory=["weather"],
        ),
    ]
)

Oder aus einer JSON-Datei laden:

from bedrock_agentcore.evaluation import FileDatasetProvider

dataset = FileDatasetProvider("dataset.json").get_dataset()