View a markdown version of this page

A/B testando - Amazon Bedrock AgentCore
Quando usar o A/B testeComo funcionaA/B padrões de teste

A/B testando

A/B o teste divide o tráfego de produção ao vivo entre duas variantes e avalia continuamente o desempenho com significância estatística. O AgentCore Gateway gerencia o roteamento de tráfego; o código do seu agente não muda.

A/B o teste é a etapa de validação no ciclo AgentCore de melhoria da otimização. Depois de gerar uma recomendação e validá-la com avaliações de lote off-line, você executa um A/B teste para confirmar que a alteração melhora o desempenho no tráfego ao vivo antes de se comprometer com a implementação completa. Você pode rotear o tráfego para AgentCore tempos de execução separados (com base no destino) ou fornecer configurações diferentes para o mesmo AgentCore tempo de execução (pacotes de configuração).

Quando usar o A/B teste

Use A/B testes quando precisar:

  • Valide uma recomendação antes de rotear todo o tráfego de produção para a configuração otimizada.

  • Compare duas versões do modelo (por exemplo, passando de um modelo básico para outro) no tráfego ao vivo com rigor estatístico.

  • Avalie o impacto de uma mudança imediata em sessões reais de usuários, em vez de um conjunto de testes com curadoria.

  • Implemente gradualmente um novo recurso (novas ferramentas, aviso atualizado do sistema) validando-o em um subconjunto do tráfego ativo antes da implantação completa.

Como funciona

Um A/B teste segue esse fluxo:

  1. Você inicia um A/B teste comagentcore run ab-test, especificando um AgentCore Gateway já implantado, duas variantes (controle e tratamento), pesos de tráfego e configurações de avaliação on-line para pontuação. (A função de execução é opcional — passe --role-arn para trazer a sua própria ou deixe a CLI criar uma.) Cada variante faz referência a um destino do AgentCore Gateway ou a uma versão do pacote de configuração. O teste começa a SER EXECUTADO assim que o comando retorna (use --disable-on-create para iniciá-lo parado).

  2. O AgentCore Gateway divide o tráfego. Depois que o teste é executado, o gateway divide o tráfego de entrada entre as duas variantes com base no ID da sessão de tempo de execução. A atribuição é fixa; um determinado ID de sessão sempre é direcionado para a mesma variante.

  3. A avaliação on-line pontua cada sessão. A configuração de avaliação on-line que você especificou executa os avaliadores em cada sessão à medida que ela é concluída. O pipeline A/B de agregação de testes mapeia as pontuações em variantes.

  4. O serviço calcula a significância estatística. Conforme o tamanho das amostras cresce, o serviço calcula métricas por avaliador para cada variante: pontuação média, alteração absoluta e percentual, valor p, intervalo de confiança e um indicador de significância. Um valor de p abaixo de 0,05 indica que a diferença é estatisticamente significativa. Resultados da pesquisa a qualquer agentcore view ab-test <id> momento, sem afetar a validade estatística.

  5. Você promove a variante de tratamento. Quando os resultados forem significativos, corra agentcore promote ab-test -i <id> para interromper o teste, gravar a variante do tratamento eagentcore.json, em seguida, agentcore deploy implementá-la. (Você também pode agentcore stop ab-test -i <id> sem promover.)

A/B padrões de teste

A/B os testes suportam dois padrões de configuração variantes:

Target-based variantes

Use quando a alteração incluir alterações de código, uma atualização da estrutura ou quando você quiser comparar implementações de agentes totalmente diferentes. Cada variante é roteada para um destino diferente do AgentCore Gateway, apontando para um endpoint de tempo de execução diferente.

Variantes do pacote de configuração

Use quando a alteração for puramente de configuração (prompt do sistema, ID do modelo ou descrições da ferramenta). Ambas as variantes são executadas no mesmo AgentCore Runtime com diferentes versões do pacote de configuração. O AgentCore Gateway injeta a referência do pacote em cada solicitação por meio dos cabeçalhos de bagagem do W3C, que o tempo de execução pode usar para obter as configurações usando o SDK. AgentCore

Escolhendo um padrão
Aspecto Target-based variantes Variantes do pacote de configuração

O que varia

Endpoint de tempo de execução completo (código, estrutura, modelo)

Solicitação do sistema, descrições de ferramentas, parâmetros do modelo

Roteamento

Alvos diferentes por variante

Mesmo alvo, pacotes de configuração diferentes

Configuração de avaliação

Uma configuração de avaliação on-line por Runtime AgentCore

Configuração de avaliação online única compartilhada

Quando usar

Alterações de código, atualizações de estrutura, comparação de diferentes agentes

Configuration-only mudanças em um único AgentCore Runtime
Tópicos