データセットスキーマ

データセットには 1 つ以上のシナリオが含まれています。各シナリオは、エージェントとの会話 (セッション) を表します。オンデマンドデータセットランナーとバッチデータセットランナーの両方が同じデータセット形式を使用します。

AgentCore SDK は 2 つのシナリオタイプをサポートしています。

FileDatasetProvider は JSON 構造からシナリオタイプを自動検出します。 turns フィールドを持つシナリオは事前定義済みとしてロードされ、 actor_profileフィールドを持つシナリオ (および なしturns) はシミュレートされたとおりにロードされます。

事前定義されたシナリオ

事前定義されたシナリオでは、既知の入力とオプションの予想出力を使用して、固定のターンシーケンスを指定します。

シングルターンの例

各シナリオは 1 つのプロンプトを送信し、レスポンスをチェックします。

{
  "scenarios": [
    {
      "scenario_id": "math-question",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        }
      ],
      "expected_trajectory": ["calculator"],
      "assertions": ["Agent used the calculator tool to compute the result"]
    },
    {
      "scenario_id": "weather-check",
      "turns": [
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["weather"],
      "assertions": ["Agent used the weather tool"]
    }
  ]
}

マルチターンの例

マルチターンシナリオでは、シナリオごとに複数のターンがあります。同じセッション内で順番に実行し、会話コンテキストを維持します。各ターンは独自の を持つことができexpected_response、 assertionsと はセッション全体expected_trajectoryに適用されます。

{
  "scenarios": [
    {
      "scenario_id": "math-then-weather",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        },
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["calculator", "weather"],
      "assertions": [
        "Agent used the calculator tool for the math question",
        "Agent used the weather tool when asked about weather"
      ]
    }
  ]
}

シナリオフィールド

ターンフィールド

シミュレートされたシナリオ

シミュレートされたシナリオでは、アクタープロファイルと初期入力を定義します。アクターは後続のターンを動的に生成します。

{
  "scenarios": [
    {
      "scenario_id": "geography-student",
      "scenario_description": "A curious student asks geography questions",
      "actor_profile": {
        "traits": {"expertise": "novice", "tone": "curious"},
        "context": "A student studying world geography who wants to learn about capitals",
        "goal": "Find out the capital cities of at least two different countries"
      },
      "input": "Hi! I'm studying geography. Can you help me learn about world capitals?",
      "max_turns": 5,
      "assertions": [
        "Agent provides accurate capital city information",
        "Agent is helpful and encouraging to the student"
      ]
    }
  ]
}

シナリオフィールド

グラウンドトゥルースマッピング

どちらのランナーも、データセットフィールドをそれらを使用する評価者に自動的にマッピングします。

グラウンドトゥルースフィールドとそれらが Evaluate API とどのように連携するかの詳細については、「グラウンドトゥルース評価」を参照してください。

インラインデータセットの構築

JSON ファイルからロードする代わりに、Python でデータセットを直接作成できます。

from bedrock_agentcore.evaluation import Dataset, PredefinedScenario, Turn

dataset = Dataset(
    scenarios=[
        PredefinedScenario(
            scenario_id="math-question",
            turns=[
                Turn(
                    input="What is 15 + 27?",
                    expected_response="15 + 27 = 42",
                ),
            ],
            expected_trajectory=["calculator"],
            assertions=["Agent used the calculator tool"],
        ),
        PredefinedScenario(
            scenario_id="weather-check",
            turns=[
                Turn(input="What's the weather?"),
            ],
            expected_trajectory=["weather"],
        ),
    ]
)

または、JSON ファイルからロードします。

from bedrock_agentcore.evaluation import FileDatasetProvider

dataset = FileDatasetProvider("dataset.json").get_dataset()