View a markdown version of this page

A/B collaudo - Amazon Bedrock AgentCore
A/B Quando usare i testCome funzionaA/B modelli di test

A/B collaudo

A/B testing suddivide il traffico di produzione in tempo reale tra due varianti e valuta continuamente le prestazioni con rilevanza statistica. Il AgentCore Gateway gestisce il routing del traffico; il codice dell'agente non cambia.

A/B il test è la fase di convalida nel ciclo di miglioramento dell'AgentCore ottimizzazione. Dopo aver generato un consiglio e averlo convalidato con valutazioni in batch offline, esegui un A/B test per confermare che la modifica migliora le prestazioni sul traffico in tempo reale prima di passare a un'implementazione completa. Puoi indirizzare il traffico verso AgentCore Runtime separati (basati sulla destinazione) o fornire configurazioni diverse allo stesso Runtime (pacchetti di configurazione). AgentCore

A/B Quando usare i test

Usa A/B i test quando hai bisogno di:

  • Convalida una raccomandazione prima di indirizzare tutto il traffico di produzione verso la configurazione ottimizzata.

  • Confronta due versioni del modello (ad esempio, il passaggio da un modello base all'altro) sul traffico in tempo reale con rigore statistico.

  • Misura l'impatto di una modifica immediata su sessioni utente reali anziché su un set di test curato.

  • Implementa gradualmente una nuova funzionalità (nuovi strumenti, prompt di sistema aggiornato) convalidandola su un sottoinsieme di traffico in tempo reale prima dell'implementazione completa.

Come funziona

Un A/B test segue questo flusso:

  1. Si avvia un A/B test specificando un AgentCore gateway già installatoagentcore run ab-test, due varianti (controllo e trattamento), pesi del traffico e configurazioni di valutazione online per il punteggio. (Il ruolo di esecuzione è facoltativo: passa --role-arn a crearne uno personalizzato o lascia che sia la CLI a crearne uno.) Ogni variante fa riferimento a una destinazione AgentCore Gateway o a una versione del pacchetto di configurazione. Il test inizia RUNNING non appena il comando ritorna (si usa --disable-on-create per avviarlo è stato interrotto).

  2. Il AgentCore Gateway divide il traffico. Una volta eseguito il test, il gateway suddivide il traffico in entrata tra le due varianti in base all'ID della sessione di runtime. L'assegnazione è permanente; un determinato ID di sessione indirizza sempre verso la stessa variante.

  3. La valutazione online assegna un punteggio a ogni sessione. La configurazione di valutazione online specificata esegue i valutatori per ogni sessione al termine. La pipeline A/B di aggregazione dei test mappa i punteggi in base alle varianti.

  4. Il servizio calcola la significatività statistica. Man mano che le dimensioni dei campioni aumentano, il servizio calcola le metriche per ogni valutatore per ogni variante: punteggio medio, variazione assoluta e percentuale, valore p, intervallo di confidenza e indicatore di significatività. Un valore p inferiore a 0,05 indica che la differenza è statisticamente significativa. Visualizza i risultati dei sondaggi agentcore view ab-test <id> in qualsiasi momento senza influire sulla validità statistica.

  5. Promuovi la variante del trattamento. Quando i risultati sono significativi, corri agentcore promote ab-test -i <id> a interrompere il test e scrivi la variante del trattamentoagentcore.json, quindi agentcore deploy implementala. (Puoi farlo anche agentcore stop ab-test -i <id> senza promozione).

A/B modelli di test

A/B i test supportano due modelli di configurazione varianti:

Target-based varianti

Da utilizzare quando la modifica include modifiche al codice, un aggiornamento del framework o quando si desidera confrontare implementazioni di agenti completamente diverse. Ogni variante indirizza verso un target AgentCore Gateway diverso che punta a un endpoint di runtime diverso.

Varianti del pacchetto di configurazione

Da utilizzare quando la modifica riguarda esclusivamente la configurazione (prompt di sistema, ID del modello o descrizioni degli strumenti). Entrambe le varianti funzionano sullo stesso AgentCore Runtime con diverse versioni del pacchetto di configurazione. Il AgentCore Gateway inserisce il riferimento al bundle in ogni richiesta tramite gli header baggage di W3C, che il runtime può utilizzare per estrarre le configurazioni utilizzando l'SDK. AgentCore

Scelta di un pattern
Aspetto Target-based varianti varianti del pacchetto di configurazione

Cosa varia

Intero endpoint di runtime (codice, framework, modello)

Prompt di sistema, descrizioni degli strumenti, parametri del modello

Routing

Obiettivi diversi per variante

Stesso obiettivo, diversi pacchetti di configurazione

Configurazione di valutazione

Una configurazione di valutazione online per Runtime AgentCore

Singola configurazione di valutazione online condivisa

Quando utilizzarlo

Modifiche al codice, aggiornamenti del framework, confronto di agenti diversi

Configuration-only modifiche su un singolo AgentCore Runtime
Argomenti