View a markdown version of this page

A/B 테스트 - Amazon Bedrock AgentCore
A/B 테스트를 사용해야 하는 경우작동 방식A/B 테스트 패턴

A/B 테스트

A/B 테스트는 두 변형 간에 라이브 프로덕션 트래픽을 분할하고 통계적 유의성으로 성능을 지속적으로 평가합니다. AgentCore Gateway는 트래픽 라우팅을 처리합니다. 에이전트 코드는 변경되지 않습니다.

A/B 테스트는 AgentCore 최적화 개선 루프의 검증 단계입니다. 권장 사항을 생성하고 오프라인 배치 평가로 검증한 후 A/B 테스트를 실행하여 전체 롤아웃에 커밋하기 전에 변경 사항이 라이브 트래픽의 성능을 개선하는지 확인합니다. 트래픽을 별도의 AgentCore 런타임(대상 기반)으로 라우팅하거나 다른 구성을 동일한 AgentCore 런타임(구성 번들)으로 전송할 수 있습니다.

A/B 테스트를 사용해야 하는 경우

다음과 같은 경우 A/B 테스트를 사용합니다.

  • 모든 프로덕션 트래픽을 최적화된 구성으로 라우팅하기 전에 권장 사항을 검증합니다.

  • 두 모델 버전(예: 파운데이션 모델에서 다른 파운데이션 모델로 이동)을 통계적으로 엄격하게 라이브 트래픽과 비교합니다.

  • 큐레이션된 테스트 세트가 아닌 실제 사용자 세션에서 프롬프트 변경의 영향을 측정합니다.

  • 전체 배포 전에 라이브 트래픽의 하위 집합에서 새 기능(새 도구, 업데이트된 시스템 프롬프트)을 검증하여 점진적으로 롤아웃합니다.

작동 방식

A/B 테스트는 다음 흐름을 따릅니다.

  1. 를 사용하여 A/B 테스트를 시작하여 이미 배포된 AgentCore Gatewayagentcore run ab-test, 두 가지 변형(제어 및 처리), 트래픽 가중치, 점수 평가를 위한 온라인 평가 구성(들)을 지정합니다. (실행 역할은 선택 사항입니다.를 전달--role-arn하여 직접 가져오거나 CLI가 생성하도록 합니다.) 각 변형은 AgentCore Gateway 대상 또는 구성 번들 버전을 참조합니다. 명령이 반환되는 즉시 테스트가 실행 중으로 시작됩니다(를 사용하여 중지--disable-on-create됨).

  2. AgentCore Gateway는 트래픽을 분할합니다. 테스트가 실행되면 게이트웨이는 런타임 세션 ID를 기반으로 두 변형 간에 수신 트래픽을 분할합니다. 할당은 고정되어 있습니다. 지정된 세션 ID는 항상 동일한 변형으로 라우팅됩니다.

  3. 온라인 평가는 각 세션의 점수를 매깁니다. 지정한 온라인 평가 구성은 완료되는 각 세션에 대해 평가자를 실행합니다. A/B 테스트 집계 파이프라인은 점수를 변형에 매핑합니다.

  4. 서비스는 통계적 유의성을 계산합니다. 샘플 크기가 증가함에 따라 서비스는 평균 점수, 절대 및 백분율 변화, p-값, 신뢰 구간, 유의 플래그 등 각 변형에 대한 평가자당 지표를 계산합니다. p-값이 0.05 미만이면 차이가 통계적으로 유의함을 나타냅니다. 통계 유효성에 영향을 주지 않고 agentcore view ab-test <id> 언제든지를 사용하여 결과를 폴링합니다.

  5. 처리 변형을 승격합니다. 결과가 중요하면를 실행agentcore promote ab-test -i <id>하여 테스트를 중지하고 처리 변형을에 기록한 agentcore.json다음 agentcore deploy 롤아웃합니다. (승격 agentcore stop ab-test -i <id> 없이도 가능합니다.)

A/B 테스트 패턴

A/B 테스트는 두 가지 변형 구성 패턴을 지원합니다.

대상 기반 변형

변경에 코드 변경, 프레임워크 업그레이드가 포함되거나 완전히 다른 에이전트 구현을 비교하려는 경우에 사용합니다. 각 변형은 다른 런타임 엔드포인트를 가리키는 다른 AgentCore Gateway 대상으로 라우팅됩니다.

구성 번들 변형

변경 사항이 순전히 구성(시스템 프롬프트, 모델 ID 또는 도구 설명)인 경우 사용합니다. 두 변형 모두 서로 다른 구성 번들 버전으로 동일한 AgentCore 런타임에서 실행됩니다. AgentCore Gateway는 런타임이 AgentCore SDK를 사용하여 구성을 가져오는 데 사용할 수 있는 W3C 파티커 헤더를 통해 각 요청에 번들 참조를 주입합니다.

패턴 선택
속성 대상 기반 변형 구성 번들 변형

다양함

전체 런타임 엔드포인트(코드, 프레임워크, 모델)

시스템 프롬프트, 도구 설명, 모델 파라미터

라우팅

변형당 서로 다른 대상

동일한 대상, 다른 구성 번들

평가 구성

AgentCore 런타임당 온라인 평가 구성 1개

단일 공유 온라인 평가 구성

사용해야 하는 경우

코드 변경, 프레임워크 업그레이드, 다양한 에이전트 비교

단일 AgentCore 런타임의 구성 전용 변경 사항
주제