Skema kumpulan data

Dataset berisi satu atau lebih skenario. Setiap skenario mewakili percakapan (sesi) dengan agen. Baik runner dataset on-demand maupun batch menggunakan format dataset yang sama.

AgentCore SDK mendukung dua jenis skenario:

FileDatasetProviderotomatis mendeteksi jenis skenario dari struktur JSON: skenario dengan turns bidang dimuat seperti yang telah ditentukan sebelumnya; skenario dengan actor_profile bidang (dan tidakturns) dimuat sebagai simulasi.

Skenario yang telah ditentukan

Skenario yang telah ditentukan menentukan urutan belokan tetap dengan input yang diketahui dan output yang diharapkan opsional.

Single-turn contoh

Setiap skenario mengirimkan satu prompt dan memeriksa respons:

{
  "scenarios": [
    {
      "scenario_id": "math-question",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        }
      ],
      "expected_trajectory": ["calculator"],
      "assertions": ["Agent used the calculator tool to compute the result"]
    },
    {
      "scenario_id": "weather-check",
      "turns": [
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["weather"],
      "assertions": ["Agent used the weather tool"]
    }
  ]
}

Multi-turn contoh

Multi-turn skenario memiliki beberapa putaran per skenario. Mengubah mengeksekusi secara berurutan dalam sesi yang sama, mempertahankan konteks percakapan. Setiap giliran dapat memiliki sendiriexpected_response, sementara assertions dan expected_trajectory berlaku untuk seluruh sesi:

{
  "scenarios": [
    {
      "scenario_id": "math-then-weather",
      "turns": [
        {
          "input": "What is 15 + 27?",
          "expected_response": "15 + 27 = 42"
        },
        {
          "input": "What's the weather?",
          "expected_response": "The weather is sunny"
        }
      ],
      "expected_trajectory": ["calculator", "weather"],
      "assertions": [
        "Agent used the calculator tool for the math question",
        "Agent used the weather tool when asked about weather"
      ]
    }
  ]
}

Bidang skenario

Putar bidang

Skenario simulasi

Skenario simulasi mendefinisikan profil aktor dan input awal. Aktor menghasilkan belokan berikutnya secara dinamis:

{
  "scenarios": [
    {
      "scenario_id": "geography-student",
      "scenario_description": "A curious student asks geography questions",
      "actor_profile": {
        "traits": {"expertise": "novice", "tone": "curious"},
        "context": "A student studying world geography who wants to learn about capitals",
        "goal": "Find out the capital cities of at least two different countries"
      },
      "input": "Hi! I'm studying geography. Can you help me learn about world capitals?",
      "max_turns": 5,
      "assertions": [
        "Agent provides accurate capital city information",
        "Agent is helpful and encouraging to the student"
      ]
    }
  ]
}

Bidang skenario

Pemetaan kebenaran dasar

Kedua pelari secara otomatis memetakan bidang dataset ke evaluator yang menggunakannya:

Untuk detail selengkapnya tentang bidang kebenaran dasar dan cara kerjanya dengan API Evaluate, lihat Evaluasi kebenaran dasar.

Konstruksi kumpulan data sebaris

Alih-alih memuat dari file JSON, Anda dapat membuat kumpulan data langsung dengan Python:

from bedrock_agentcore.evaluation import Dataset, PredefinedScenario, Turn

dataset = Dataset(
    scenarios=[
        PredefinedScenario(
            scenario_id="math-question",
            turns=[
                Turn(
                    input="What is 15 + 27?",
                    expected_response="15 + 27 = 42",
                ),
            ],
            expected_trajectory=["calculator"],
            assertions=["Agent used the calculator tool"],
        ),
        PredefinedScenario(
            scenario_id="weather-check",
            turns=[
                Turn(input="What's the weather?"),
            ],
            expected_trajectory=["weather"],
        ),
    ]
)

Atau muat dari file JSON:

from bedrock_agentcore.evaluation import FileDatasetProvider

dataset = FileDatasetProvider("dataset.json").get_dataset()