As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
A/B testando
A/B o teste divide o tráfego de produção ao vivo entre duas variantes e avalia continuamente o desempenho com significância estatística. O AgentCore Gateway gerencia o roteamento de tráfego; seu código de agente não muda.
A/B o teste é a etapa de validação no ciclo AgentCore de melhoria da otimização. Depois de gerar uma recomendação e validá-la com avaliações em lote off-line, você executa um A/B teste para confirmar que a alteração melhora o desempenho no tráfego ao vivo antes de se comprometer com uma implantação completa. Você pode rotear o tráfego para AgentCore tempos de execução separados (com base no destino) ou fornecer configurações diferentes para o mesmo AgentCore tempo de execução (pacotes de configuração).
Quando usar o A/B teste
Use o A/B teste quando precisar:
-
Valide uma recomendação antes de rotear todo o tráfego de produção para a configuração otimizada.
-
Compare duas versões do modelo (por exemplo, migrando de um modelo básico para outro) no tráfego ao vivo com rigor estatístico.
-
Avalie o impacto de uma mudança imediata em sessões reais de usuários, em vez de um conjunto de testes selecionado.
-
Implemente gradualmente um novo recurso (novas ferramentas, prompt de sistema atualizado) validando-o em um subconjunto do tráfego ativo antes da implantação completa.
Como funciona
Um A/B teste segue esse fluxo:
-
Você inicia um A/B teste especificando um AgentCore Gateway já implantado, duas variantes (controle e tratamento), pesos de tráfego e configurações de avaliação on-line para pontuação.
agentcore run ab-test(A função de execução é opcional — passe--role-arnpara trazer a sua própria ou deixe a CLI criar uma.) Cada variante faz referência a um destino do AgentCore Gateway ou a uma versão do pacote de configuração. O teste começa a SER EXECUTADO assim que o comando retorna (use--disable-on-createpara iniciá-lo parado). -
O AgentCore Gateway divide o tráfego. Depois que o teste é executado, o gateway divide o tráfego de entrada entre as duas variantes com base no ID da sessão de tempo de execução. A atribuição é fixa; um determinado ID de sessão sempre é direcionado para a mesma variante.
-
A avaliação on-line pontua cada sessão. A configuração de avaliação on-line que você especificou executa os avaliadores em cada sessão à medida que ela é concluída. O pipeline A/B de agregação de testes mapeia as pontuações para variantes.
-
O serviço calcula a significância estatística. À medida que o tamanho das amostras aumenta, o serviço calcula métricas por avaliador para cada variante: pontuação média, mudança absoluta e percentual, valor p, intervalo de confiança e um indicador de significância. Um valor de p abaixo de 0,05 indica que a diferença é estatisticamente significativa. Resultados da pesquisa a qualquer
agentcore view ab-test <id>momento, sem afetar a validade estatística. -
Você promove a variante do tratamento. Quando os resultados forem significativos, interrompa
agentcore promote ab-test -i <id>o teste, escreva a variante do tratamento eagentcore.json, em seguida,agentcore deployimplemente-a. (Você também pode fazeragentcore stop ab-test -i <id>isso sem promover.)
A/B padrões de teste
A/B os testes suportam dois padrões de configuração variantes:
Target-based variantes
Use quando a alteração incluir alterações no código, uma atualização da estrutura ou quando você quiser comparar implementações de agentes totalmente diferentes. Cada variante é roteada para um destino de AgentCore gateway diferente, apontando para um endpoint de tempo de execução diferente.
Variantes do pacote de configuração
Use quando a alteração for puramente de configuração (prompt do sistema, ID do modelo ou descrições da ferramenta). Ambas as variantes são executadas no mesmo AgentCore tempo de execução com diferentes versões do pacote de configuração. O AgentCore Gateway injeta a referência do pacote em cada solicitação por meio dos cabeçalhos de bagagem do W3C, que o tempo de execução pode usar para obter as configurações usando o SDK. AgentCore
Escolhendo um padrão
| Aspecto | Target-based variantes | Variantes do pacote de configuração |
|---|---|---|
|
O que varia |
Endpoint de tempo de execução completo (código, estrutura, modelo) |
Aviso do sistema, descrições de ferramentas, parâmetros do modelo |
|
Roteamento |
Alvos diferentes por variante |
Mesmo alvo, pacotes de configuração diferentes |
|
Configuração de avaliação |
Uma configuração de avaliação online por tempo de execução AgentCore |
Configuração de avaliação on-line compartilhada única |
|
Quando usar |
Alterações de código, atualizações de estrutura, comparação de diferentes agentes |
Configuration-only mudanças em um único AgentCore tempo de execução |
Tópicos
