Jalankan A/B pengujian dengan perutean berbasis target

Gunakan pola routing berbasis target ketika perubahan yang Anda uji melibatkan perubahan kode, upgrade kerangka kerja, atau implementasi agen yang sama sekali berbeda. Target-based routing merutekan lalu lintas antara beberapa versi AgentCore Runtime yang sama (bernama endpoint), atau antara Runtime yang sama sekali berbeda. AgentCore AgentCore Gateway mendaftarkan setiap titik akhir sebagai target terpisah dan merutekan setiap sesi ke satu titik akhir atau yang lain berdasarkan bobot lalu lintas A/B pengujian.

Konfigurasi kunci untuk A/B pengujian berbasis target:

Panduan ini menyebarkan dua versi agen dukungan pelanggan - satu menggunakan Claude Sonnet (kontrol) dan satu menggunakan Claude Opus (perawatan) - membuat titik akhir bernama untuk setiap versi, membuat A/B tes, mengirim lalu lintas, meninjau hasil, dan menyebarkan pemenang.

Untuk perbandingan rinci pola A/B pengujian, lihat Memilih pola.

Langkah 1: Buat proyek

Buat proyek dengan AgentCore CLI:

agentcore create --name ABTestTargetBased --no-agent
cd ABTestTargetBased

Langkah 2: Tambahkan runtime

Tambahkan runtime agen. Anda akan menerapkan dua versi runtime ini — satu untuk kontrol dan satu untuk perawatan — lalu membuat titik akhir bernama ke alias setiap versi.

agentcore add agent \
  --name csAgent \
  --language Python \
  --framework Strands \
  --model-provider Bedrock \
  --memory none \
  --build CodeZip

Struktur proyek:

ABTestTargetBased/
├── agentcore/
│   ├── agentcore.json
│   ├── aws-targets.json
│   └── cdk/
└── app/
    └── csAgent/
        ├── main.py
        └── pyproject.toml

Langkah 3: Menyebarkan versi kontrol dan perawatan

Ganti app/csAgent/main.py dengan versi kontrol (menggunakan Claude Sonnet):

"""Customer support agent — control variant."""
from strands import Agent, tool
from strands.models.bedrock import BedrockModel
from bedrock_agentcore.runtime import BedrockAgentCoreApp

app = BedrockAgentCoreApp()
MODEL_ID = "global.anthropic.claude-sonnet-4-5-20250929-v1:0"
SYSTEM_PROMPT = "You are a helpful customer support assistant for Acme Store."


@tool
def lookup_order(order_id: str) -> str:
    """Look up an order by ID."""
    orders = {
        "ORD-1001": {"status": "delivered", "item": "Blue T-Shirt", "total": "$29.99"},
        "ORD-1002": {"status": "in_transit", "item": "Running Shoes", "est_delivery": "2026-04-05"},
        "ORD-1003": {"status": "delayed", "item": "Wireless Headphones", "days_late": 5},
    }
    return str(orders.get(order_id, {"error": f"Order {order_id} not found"}))


@tool
def initiate_return(order_id: str, reason: str) -> str:
    """Initiate a return for an order."""
    return f"Return initiated for {order_id}. Reason: {reason}. Return label sent to customer email."


@tool
def apply_discount(order_id: str, discount_percent: int, reason: str) -> str:
    """Apply a discount to an order."""
    return f"Applied {discount_percent}% discount to {order_id}. Reason: {reason}."


agent = Agent(
    model=BedrockModel(model_id=MODEL_ID),
    tools=[lookup_order, initiate_return, apply_discount],
    system_prompt=SYSTEM_PROMPT,
)


@app.entrypoint
def invoke(payload, context):
    result = agent(payload.get("prompt", "Hello"))
    return {"response": result.message["content"][0]["text"]}


if __name__ == "__main__":
    app.run()

Perbarui app/csAgent/pyproject.toml dependensi:

dependencies = [
    "aws-opentelemetry-distro",
    "bedrock-agentcore >= 1.8.0",
    "boto3",
    "botocore[crt] >= 1.35.0",
    "strands-agents[otel] >= 1.13.0",
    "opentelemetry-distro",
    "opentelemetry-instrumentation",
]

Terapkan versi kontrol (ini membuat versi 1):

agentcore deploy

Sekarang perbarui main.py untuk menggunakan model yang berbeda untuk varian perawatan dan terapkan (ini membuat versi 2):

MODEL_ID = "global.anthropic.claude-opus-4-6-v1"

agentcore deploy

Buat titik akhir bernama untuk setiap versi dan terapkan:

agentcore add runtime-endpoint \
  --runtime csAgent \
  --endpoint control \
  --version 1 \
  --description "Control variant — Claude Sonnet"

agentcore add runtime-endpoint \
  --runtime csAgent \
  --endpoint treatment \
  --version 2 \
  --description "Treatment variant — Claude Opus"

agentcore deploy

Anda sekarang memiliki:

Verifikasi bahwa runtime berfungsi:

agentcore invoke --runtime csAgent --prompt "What is the status of order ORD-1003?"

Anda sekarang memiliki:

Langkah 4: Buat konfigurasi evaluasi online

Setiap titik akhir memiliki grup lognya sendiri (nama grup log diakhiri dengan nama titik akhir), jadi Anda memerlukan satu konfigurasi evaluasi online per varian:

agentcore add online-eval \
  --name controlEvalTb \
  --runtime csAgent \
  --endpoint control \
  --evaluator "Builtin.Helpfulness" \
  --sampling-rate 100.0 \
  --enable-on-create

agentcore add online-eval \
  --name treatmentEvalTb \
  --runtime csAgent \
  --endpoint treatment \
  --evaluator "Builtin.Helpfulness" \
  --sampling-rate 100.0 \
  --enable-on-create

agentcore deploy

Setelah setiap penerapan, perhatikan konfigurasi evaluasi online ARN — Anda akan memerlukan keduanya saat membuat pengujian. A/B

Untuk detail selengkapnya tentang opsi dan konfigurasi evaluator, lihat Membuat evaluasi online.

Langkah 5: Buat gateway dan target

A/B Pengujian berbasis target merutekan lalu lintas melalui AgentCore Gateway, jadi gateway dan dua targetnya harus sudah digunakan sebelum Anda memulai pengujian. Tambahkan gateway dan daftarkan setiap titik akhir runtime sebagai http-runtime target, lalu terapkan:

agentcore add gateway --name csGateway

agentcore add gateway-target \
  --name customer-support-control \
  --gateway csGateway \
  --type http-runtime \
  --runtime csAgent \
  --runtime-endpoint control

agentcore add gateway-target \
  --name customer-support-treatment \
  --gateway csGateway \
  --type http-runtime \
  --runtime csAgent \
  --runtime-endpoint treatment

agentcore deploy

Langkah 6: Buat A/B tes

Mulai A/B tes denganagentcore run ab-test. Setiap varian mereferensikan salah satu target gateway yang Anda buat dan memiliki konfigurasi evaluasi online-nya sendiri. Perintah memulai pengujian langsung pada layanan terhadap gateway yang sudah digunakan.

Langkah 7: Kirim lalu lintas melalui AgentCore Gateway

Setelah A/B pengujian berjalan, kirim lalu lintas melalui titik akhir HTTP AgentCore Gateway. AgentCore Gateway menetapkan setiap permintaan ke varian (kontrol atau perlakuan) berdasarkan ID sesi runtime.

Cara kerja penugasan varian

AgentCore Gateway menggunakan X-Amzn-Bedrock-AgentCore-Runtime-Session-Id header untuk menentukan target mana yang akan mengarahkan lalu lintas ke. Header ini opsional — jika Anda tidak menyediakannya, runtime akan menghasilkan ID sesi secara otomatis. AgentCore Gateway kemudian menggunakan ID sesi (apakah Anda menyediakannya atau runtime yang dihasilkannya) untuk menetapkan permintaan ke varian berdasarkan bobot lalu lintas yang dikonfigurasi.

Penugasan sesi bersifat lengket: setelah ID sesi ditetapkan ke varian, semua permintaan berikutnya dengan ID sesi yang sama merutekan ke target yang sama. Ini memastikan pengalaman yang konsisten dalam sesi sambil tetap mendistribusikan sesi baru di seluruh varian sesuai dengan pembagian lalu lintas Anda.

Menghasilkan lalu lintas untuk pengujian

Simpan skrip berikut sebagailoadgen.sh, ganti <gateway-id> dan <target-name> dengan nilai dari output penyebaran Anda. Anda juga dapat menyalin URL pemanggilan lengkap dari: agentcore view ab-test <ab-test-id>

#!/bin/bash
export AWS_ACCESS_KEY_ID=$(aws configure get aws_access_key_id)
export AWS_SECRET_ACCESS_KEY=$(aws configure get aws_secret_access_key)
export AWS_SESSION_TOKEN=$(aws configure get aws_session_token)

GATEWAY_URL="https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/<target-name>/invocations"

PROMPTS=(
  "What is the status of order ORD-1003?"
  "I want to return order ORD-1001, it doesn't fit."
  "My order ORD-1003 is late. Can I get a discount?"
  "Where is my order ORD-1002?"
  "I need help with a return for order ORD-1001. The color is wrong."
  "Can you check on order ORD-1003? I've been waiting forever."
  "I'd like to cancel order ORD-1002 if it hasn't shipped yet."
  "Order ORD-1003 is delayed again. This is unacceptable."
  "What's your return policy for order ORD-1001?"
  "My headphones order ORD-1003 still hasn't arrived. What can you do?"
)

for i in $(seq 1 30); do
  PROMPT="${PROMPTS[$(( (i - 1) % ${#PROMPTS[@]} ))]}"
  echo "=== Request $i: $PROMPT ==="
  curl -s --aws-sigv4 "aws:amz:us-west-2:bedrock-agentcore" \
    --user "$AWS_ACCESS_KEY_ID:$AWS_SECRET_ACCESS_KEY" \
    -H "x-amz-security-token: $AWS_SESSION_TOKEN" \
    -H "Content-Type: application/json" \
    -H "X-Amzn-Bedrock-AgentCore-Runtime-Session-Id: $(uuidgen)" \
    -d "{\"prompt\": \"$PROMPT\"}" \
    -X POST \
    "$GATEWAY_URL"
  echo ""
  sleep 2
done

Jalankan skrip .

bash loadgen.sh

Langkah 8: Dapatkan hasil

Jajak pendapat A/B tes untuk memantau hasil saat ukuran sampel bertambah. Polling tidak mempengaruhi validitas statistik.

Menafsirkan hasil

Langkah 9: Konfirmasikan hasil dan hentikan A/B tes

Setelah A/B tes mencapai signifikansi statistik, tinjau hasilnya dan hentikan percobaan.

Langkah 10: Menyebarkan pemenang

Setelah menghentikan A/B tes, rute semua lalu lintas ke varian pemenang.

agentcore promote ab-test -i <ab-test-id>
agentcore deploy

promotemenghentikan A/B pengujian (jika masih berjalan), memperbarui titik akhir kontrol untuk menunjuk ke versi perawatan (misalnya, memperbarui control dari versi 1 ke versi 2), dan menghapus titik akhir perawatan. Jalankan agentcore deploy untuk menerapkan perubahan.

Atau, Anda dapat menyebarkan pemenang secara manual dengan melakukan salah satu hal berikut:

Langkah selanjutnya

Setelah menyebarkan pemenang:

Memahami hasil

Saat Anda meneleponGetABTest, respons menyertakan results objek setelah pipeline agregasi telah memproses sesi yang cukup. Hasilnya berisi metrik per-evaluator yang dipecah berdasarkan varian.

Struktur hasil

{
  "results": {
    "analysisTimestamp": "2026-04-30T18:45:00Z",
    "evaluatorMetrics": [
      {
        "evaluatorArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:evaluator/Builtin.Helpfulness",
        "controlStats": {
          "variantName": "C",
          "sampleSize": 24,
          "mean": 0.72
        },
        "variantResults": [
          {
            "variantName": "T1",
            "sampleSize": 6,
            "mean": 0.85,
            "absoluteChange": 0.13,
            "percentChange": 18.1,
            "pValue": 0.032,
            "confidenceInterval": {
              "lower": 0.02,
              "upper": 0.24
            },
            "isSignificant": true
          }
        ]
      }
    ]
  }
}

Referensi bidang

Pemecahan masalah

A/B tes tidak menunjukkan hasil setelah mengirim lalu lintas

Hasil tidak segera muncul. Waktu yang dibutuhkan tergantung pada batas waktu sesi yang dikonfigurasi dalam konfigurasi evaluasi online Anda — sesi dianggap selesai hanya setelah tidak ada permintaan baru yang tiba dalam jendela batas waktu. Setelah sesi berakhir, harapkan hasil dalam waktu sekitar 15 menit.

Jika hasil masih tidak muncul setelah jendela ini: