대상 기반 라우팅을 사용하여 A/B 테스트 실행

테스트 중인 변경 사항에 코드 변경, 프레임워크 업그레이드 또는 완전히 다른 에이전트 구현이 포함된 경우 대상 기반 라우팅 패턴을 사용합니다. 대상 기반 라우팅은 동일한 AgentCore 런타임(명명된 엔드포인트)의 여러 버전 간에 또는 완전히 다른 AgentCore 런타임 간에 트래픽을 라우팅합니다. AgentCore Gateway는 각 엔드포인트를 별도의 대상으로 등록하고 A/B 테스트의 트래픽 가중치에 따라 각 세션을 한 엔드포인트 또는 다른 엔드포인트로 라우팅합니다.

대상 기반 A/B 테스트를 위한 키 구성:

이 연습에서는 Claude Sonnet(컨트롤)과 Claude Opus(트리트먼트)를 사용하는 두 가지 버전의 고객 지원 에이전트를 배포합니다. 하나는 각 버전에 대해 명명된 엔드포인트를 생성하고, A/B 테스트를 생성하고, 트래픽을 전송하고, 결과를 검토하고, 우승자를 배포합니다.

A/B 테스트 패턴에 대한 자세한 비교는 패턴 선택을 참조하세요.

1단계: 프로젝트 생성

AgentCore CLI를 사용하여 프로젝트를 생성합니다.

agentcore create --name ABTestTargetBased --no-agent
cd ABTestTargetBased

2단계: 런타임 추가

에이전트 런타임을 추가합니다. 이 런타임의 두 가지 버전, 즉 제어를 위한 버전과 처리를 위한 버전을 배포한 다음 명명된 엔드포인트를 생성하여 각 버전을 별칭으로 지정합니다.

agentcore add agent \
  --name csAgent \
  --language Python \
  --framework Strands \
  --model-provider Bedrock \
  --memory none \
  --build CodeZip

프로젝트 구조:

ABTestTargetBased/
├── agentcore/
│   ├── agentcore.json
│   ├── aws-targets.json
│   └── cdk/
└── app/
    └── csAgent/
        ├── main.py
        └── pyproject.toml

3단계: 제어 및 처리 버전 배포

app/csAgent/main.py를 제어 버전으로 바꿉니다(Claude Sonnet 사용).

"""Customer support agent — control variant."""
from strands import Agent, tool
from strands.models.bedrock import BedrockModel
from bedrock_agentcore.runtime import BedrockAgentCoreApp

app = BedrockAgentCoreApp()
MODEL_ID = "global.anthropic.claude-sonnet-4-5-20250929-v1:0"
SYSTEM_PROMPT = "You are a helpful customer support assistant for Acme Store."


@tool
def lookup_order(order_id: str) -> str:
    """Look up an order by ID."""
    orders = {
        "ORD-1001": {"status": "delivered", "item": "Blue T-Shirt", "total": "$29.99"},
        "ORD-1002": {"status": "in_transit", "item": "Running Shoes", "est_delivery": "2026-04-05"},
        "ORD-1003": {"status": "delayed", "item": "Wireless Headphones", "days_late": 5},
    }
    return str(orders.get(order_id, {"error": f"Order {order_id} not found"}))


@tool
def initiate_return(order_id: str, reason: str) -> str:
    """Initiate a return for an order."""
    return f"Return initiated for {order_id}. Reason: {reason}. Return label sent to customer email."


@tool
def apply_discount(order_id: str, discount_percent: int, reason: str) -> str:
    """Apply a discount to an order."""
    return f"Applied {discount_percent}% discount to {order_id}. Reason: {reason}."


agent = Agent(
    model=BedrockModel(model_id=MODEL_ID),
    tools=[lookup_order, initiate_return, apply_discount],
    system_prompt=SYSTEM_PROMPT,
)


@app.entrypoint
def invoke(payload, context):
    result = agent(payload.get("prompt", "Hello"))
    return {"response": result.message["content"][0]["text"]}


if __name__ == "__main__":
    app.run()

app/csAgent/pyproject.toml 종속성 업데이트:

dependencies = [
    "aws-opentelemetry-distro",
    "bedrock-agentcore >= 1.8.0",
    "boto3",
    "botocore[crt] >= 1.35.0",
    "strands-agents[otel] >= 1.13.0",
    "opentelemetry-distro",
    "opentelemetry-instrumentation",
]

제어 버전을 배포합니다(버전 1 생성).

agentcore deploy

이제 처리 변형에 다른 모델을 사용하고 배포main.py하도록 업데이트합니다(이렇게 하면 버전 2가 생성됨).

MODEL_ID = "global.anthropic.claude-opus-4-6-v1"

agentcore deploy

각 버전에 대해 명명된 엔드포인트를 생성하고 배포합니다.

agentcore add runtime-endpoint \
  --runtime csAgent \
  --endpoint control \
  --version 1 \
  --description "Control variant — Claude Sonnet"

agentcore add runtime-endpoint \
  --runtime csAgent \
  --endpoint treatment \
  --version 2 \
  --description "Treatment variant — Claude Opus"

agentcore deploy

이제 다음을 수행할 수 있습니다.

런타임이 작동하는지 확인합니다.

agentcore invoke --runtime csAgent --prompt "What is the status of order ORD-1003?"

이제 다음을 수행할 수 있습니다.

4단계: 온라인 평가 구성 생성

각 엔드포인트에는 고유한 로그 그룹(로그 그룹 이름은 엔드포인트 이름으로 끝남)이 있으므로 변형당 하나의 온라인 평가 구성이 필요합니다.

agentcore add online-eval \
  --name controlEvalTb \
  --runtime csAgent \
  --endpoint control \
  --evaluator "Builtin.Helpfulness" \
  --sampling-rate 100.0 \
  --enable-on-create

agentcore add online-eval \
  --name treatmentEvalTb \
  --runtime csAgent \
  --endpoint treatment \
  --evaluator "Builtin.Helpfulness" \
  --sampling-rate 100.0 \
  --enable-on-create

agentcore deploy

각 배포 후 온라인 평가 구성 ARN을 기록해 둡니다. A/B 테스트를 생성할 때 둘 다 필요합니다.

평가자 옵션 및 구성에 대한 자세한 내용은 온라인 평가 생성을 참조하세요.

5단계: 게이트웨이 및 대상 생성

대상 기반 A/B 테스트는 AgentCore 게이트웨이를 통해 트래픽을 라우팅하므로 테스트를 시작하기 전에 게이트웨이와 해당 두 대상이 이미 배포되어 있어야 합니다. 게이트웨이를 추가하고 각 런타임 엔드포인트를 http-runtime 대상으로 등록한 다음 배포합니다.

agentcore add gateway --name csGateway

agentcore add gateway-target \
  --name customer-support-control \
  --gateway csGateway \
  --type http-runtime \
  --runtime csAgent \
  --runtime-endpoint control

agentcore add gateway-target \
  --name customer-support-treatment \
  --gateway csGateway \
  --type http-runtime \
  --runtime csAgent \
  --runtime-endpoint treatment

agentcore deploy

6단계: A/B 테스트 생성

를 사용하여 A/B 테스트를 시작합니다agentcore run ab-test. 각 변형은 생성한 게이트웨이 대상 중 하나를 참조하며 자체 온라인 평가 구성이 있습니다. 이 명령은 이미 배포된 게이트웨이에 대해 서비스에서 직접 테스트를 시작합니다.

7단계: AgentCore 게이트웨이를 통해 트래픽 전송

A/B 테스트를 실행한 후 AgentCore Gateway HTTP 엔드포인트를 통해 트래픽을 전송합니다. AgentCore Gateway는 런타임 세션 ID를 기반으로 변형(제어 또는 처리)에 각 요청을 할당합니다.

변형 할당 작동 방식

AgentCore Gateway는 X-Amzn-Bedrock-AgentCore-Runtime-Session-Id 헤더를 사용하여 트래픽을 라우팅할 대상을 결정합니다. 이 헤더는 선택 사항입니다. 제공하지 않으면 런타임이 세션 ID를 자동으로 생성합니다. 그런 다음 AgentCore Gateway는 세션 ID(제공했는지 또는 런타임에서 생성했는지 여부)를 사용하여 구성된 트래픽 가중치를 기반으로 변형에 요청을 할당합니다.

세션 할당은 고정됩니다. 세션 ID가 변형에 할당되면 동일한 세션 ID를 가진 모든 후속 요청이 동일한 대상으로 라우팅됩니다. 이렇게 하면 트래픽 분할에 따라 변형 간에 새 세션을 분산하면서 세션 내에서 일관된 경험을 보장할 수 있습니다.

테스트를 위한 트래픽 생성

다음 스크립트를 로 저장하여 <gateway-id> 및 <target-name>를 배포 출력의 값으로 loadgen.sh바꿉니다. 에서 전체 호출 URL을 복사할 수도 있습니다agentcore view ab-test <ab-test-id>.

#!/bin/bash
export AWS_ACCESS_KEY_ID=$(aws configure get aws_access_key_id)
export AWS_SECRET_ACCESS_KEY=$(aws configure get aws_secret_access_key)
export AWS_SESSION_TOKEN=$(aws configure get aws_session_token)

GATEWAY_URL="https://<gateway-id>.gateway.bedrock-agentcore.us-west-2.amazonaws.com/<target-name>/invocations"

PROMPTS=(
  "What is the status of order ORD-1003?"
  "I want to return order ORD-1001, it doesn't fit."
  "My order ORD-1003 is late. Can I get a discount?"
  "Where is my order ORD-1002?"
  "I need help with a return for order ORD-1001. The color is wrong."
  "Can you check on order ORD-1003? I've been waiting forever."
  "I'd like to cancel order ORD-1002 if it hasn't shipped yet."
  "Order ORD-1003 is delayed again. This is unacceptable."
  "What's your return policy for order ORD-1001?"
  "My headphones order ORD-1003 still hasn't arrived. What can you do?"
)

for i in $(seq 1 30); do
  PROMPT="${PROMPTS[$(( (i - 1) % ${#PROMPTS[@]} ))]}"
  echo "=== Request $i: $PROMPT ==="
  curl -s --aws-sigv4 "aws:amz:us-west-2:bedrock-agentcore" \
    --user "$AWS_ACCESS_KEY_ID:$AWS_SECRET_ACCESS_KEY" \
    -H "x-amz-security-token: $AWS_SESSION_TOKEN" \
    -H "Content-Type: application/json" \
    -H "X-Amzn-Bedrock-AgentCore-Runtime-Session-Id: $(uuidgen)" \
    -d "{\"prompt\": \"$PROMPT\"}" \
    -X POST \
    "$GATEWAY_URL"
  echo ""
  sleep 2
done

스크립트를 실행합니다.

bash loadgen.sh

8단계: 결과 가져오기

A/B 테스트를 폴링하여 샘플 크기가 증가함에 따라 결과를 모니터링합니다. 폴링은 통계적 유효성에 영향을 주지 않습니다.

결과 해석

9단계: 결과 확인 및 A/B 테스트 중지

A/B 테스트가 통계적 유의성에 도달하면 결과를 검토하고 실험을 중지합니다.

10단계: 당첨자 배포

A/B 테스트를 중지한 후 모든 트래픽을 대상 변형으로 라우팅합니다.

agentcore promote ab-test -i <ab-test-id>
agentcore deploy

promote는 A/B 테스트를 중지하고(아직 실행 중인 경우), 처리 버전을 가리키도록 제어 엔드포인트를 업데이트하고(예: 버전 1control에서 버전 2로 업데이트), 처리 엔드포인트를 제거합니다. 를 실행agentcore deploy하여 변경 사항을 적용합니다.

또는 다음 중 하나를 수행하여 당첨자를 수동으로 배포할 수 있습니다.

다음 단계

당첨자를 배포한 후:

결과 이해

GetABTest를 호출하면 집계 파이프라인이 충분한 세션을 처리하면 응답에 results 객체가 포함됩니다. 결과에는 변형별로 분류된 평가자당 지표가 포함됩니다.

결과 구조

{
  "results": {
    "analysisTimestamp": "2026-04-30T18:45:00Z",
    "evaluatorMetrics": [
      {
        "evaluatorArn": "arn:aws:bedrock-agentcore:us-west-2:123456789012:evaluator/Builtin.Helpfulness",
        "controlStats": {
          "variantName": "C",
          "sampleSize": 24,
          "mean": 0.72
        },
        "variantResults": [
          {
            "variantName": "T1",
            "sampleSize": 6,
            "mean": 0.85,
            "absoluteChange": 0.13,
            "percentChange": 18.1,
            "pValue": 0.032,
            "confidenceInterval": {
              "lower": 0.02,
              "upper": 0.24
            },
            "isSignificant": true
          }
        ]
      }
    ]
  }
}

필드 참조

문제 해결

A/B 테스트는 트래픽을 전송한 후 결과를 표시하지 않습니다.

결과는 즉시 표시되지 않습니다. 소요 시간은 온라인 평가 구성에 구성된 세션 제한 시간에 따라 달라집니다. 세션은 제한 시간 내에 새 요청이 도착하지 않은 후에만 완료된 것으로 간주됩니다. 세션이 종료된 후 약 15분 이내에 결과가 나올 것으로 예상합니다.

이 기간 이후에도 결과가 나타나지 않는 경우: