Beispiele für Datensätze verwalten

Um Beispiele mit der AgentCore CLI hinzuzufügen, hängen Sie neue Szenarien an Ihre lokale JSONL-Datei an und stellen Sie sie dann erneut bereit:

# Edit agentcore/datasets/my_eval_dataset.jsonl — add new lines
agentcore deploy

Die Bereitstellung erkennt neue Szenarien in Ihrer JSONL-Datei und fügt sie dem Service hinzu. Nur der Diff wird angewendet — bestehende Beispiele werden nicht erneut hochgeladen.

from bedrock_agentcore.evaluation import DatasetClient

client = DatasetClient(region_name="us-west-2")

ds = client.add_examples_and_wait(
    datasetId="my-dataset-id",
    source={
        "inlineExamples": {
            "examples": [
                {
                    "scenario_id": "TC-02",
                    "turns": [{"input": "Transfer $100", "expected_response": "Transfer complete."}],
                }
            ]
        }
    },
)
print(f"Example count: {ds['exampleCount']}")

import boto3
import time

client = boto3.client('bedrock-agentcore-control')

resp = client.add_dataset_examples(
    datasetId='my-dataset-id',
    source={'inlineExamples': {'examples': [
        {'scenario_id': 'TC-02', 'turns': [{'input': 'Transfer $100', 'expected_response': 'Transfer complete.'}]}
    ]}}
)
print(f"Added example IDs: {resp['exampleIds']}")

# Poll until ACTIVE
while True:
    ds = client.get_dataset(datasetId='my-dataset-id')
    if ds['status'] == 'ACTIVE':
        break
    time.sleep(2)

aws bedrock-agentcore-control add-dataset-examples \
    --dataset-id my-dataset-id \
    --source '{"inlineExamples": {"examples": [{"scenario_id": "TC-02", "turns": [{"input": "Transfer $100", "expected_response": "Transfer complete."}]}]}}'

Um Beispiele mit der AgentCore CLI zu aktualisieren, ändern Sie bestehende Szenarien in Ihrer lokalen JSONL-Datei und stellen Sie sie dann erneut bereit:

# Edit agentcore/datasets/my_eval_dataset.jsonl — modify existing lines
agentcore deploy

Bei der Bereitstellung wird Ihre lokale Datei mit dem Service verglichen und die geänderten Beispiele aktualisiert. Jede Zeile muss ihre beibehalten, exampleId damit der Service sie als Update und nicht als neues Beispiel erkennt.

from bedrock_agentcore.evaluation import DatasetClient

client = DatasetClient(region_name="us-west-2")

ds = client.update_examples_and_wait(
    datasetId="my-dataset-id",
    examples=[
        {
            "exampleId": "example-id-from-list",
            "scenario_id": "TC-02-updated",
            "turns": [{"input": "Transfer $200", "expected_response": "Transfer complete."}],
        }
    ],
)

import boto3
import time

client = boto3.client('bedrock-agentcore-control')

client.update_dataset_examples(
    datasetId='my-dataset-id',
    examples=[
        {
            'exampleId': 'example-id-from-list',
            'scenario_id': 'TC-02-updated',
            'turns': [{'input': 'Transfer $200', 'expected_response': 'Transfer complete.'}],
        }
    ]
)

# Poll until ACTIVE
while True:
    ds = client.get_dataset(datasetId='my-dataset-id')
    if ds['status'] == 'ACTIVE':
        break
    time.sleep(2)

aws bedrock-agentcore-control update-dataset-examples \
    --dataset-id my-dataset-id \
    --cli-input-json file://update-examples.json

Um Beispiele mit der AgentCore CLI zu löschen, entfernen Sie die entsprechenden Zeilen aus Ihrer lokalen JSONL-Datei und stellen Sie sie dann erneut bereit:

# Edit agentcore/datasets/my_eval_dataset.jsonl — remove lines
agentcore deploy

Die Bereitstellung erkennt entfernte Szenarien und löscht sie aus dem Service.

from bedrock_agentcore.evaluation import DatasetClient

client = DatasetClient(region_name="us-west-2")

ds = client.delete_examples_and_wait(
    datasetId="my-dataset-id",
    exampleIds=["example-id-1", "example-id-2"],
)

import boto3
import time

client = boto3.client('bedrock-agentcore-control')

client.delete_dataset_examples(
    datasetId='my-dataset-id',
    exampleIds=['example-id-1', 'example-id-2']
)

# Poll until ACTIVE
while True:
    ds = client.get_dataset(datasetId='my-dataset-id')
    if ds['status'] == 'ACTIVE':
        break
    time.sleep(2)

aws bedrock-agentcore-control delete-dataset-examples \
    --dataset-id my-dataset-id \
    --example-ids '["example-id-1", "example-id-2"]'

# Download examples to your local JSONL file (default: Draft)
agentcore dataset download --name my_eval_dataset

# Download examples from a published version
agentcore dataset download --name my_eval_dataset --version 1

from bedrock_agentcore.evaluation import DatasetClient

client = DatasetClient(region_name="us-west-2")

# List examples from Draft
resp = client.list_dataset_examples(datasetId="my-dataset-id")
for example in resp["examples"]:
    print(f"  {example['exampleId']}: {example['scenario_id']}")

# List examples from a published version
resp = client.list_dataset_examples(datasetId="my-dataset-id", datasetVersion="1")

import boto3

client = boto3.client('bedrock-agentcore-control')

resp = client.list_dataset_examples(datasetId='my-dataset-id')
for example in resp['examples']:
    print(f"  {example['exampleId']}: {example.get('scenario_id')}")

# List examples from a published version
resp = client.list_dataset_examples(datasetId='my-dataset-id', datasetVersion='1')

# List examples from Draft
aws bedrock-agentcore-control list-dataset-examples \
    --dataset-id my-dataset-id

# List examples from a published version
aws bedrock-agentcore-control list-dataset-examples \
    --dataset-id my-dataset-id \
    --dataset-version 1