Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
A/B test
A/B il testing divide il traffico di produzione in tempo reale tra due varianti e valuta continuamente le prestazioni con significatività statistica. Il AgentCore Gateway gestisce il routing del traffico; il codice dell'agente non cambia.
A/B il test è la fase di convalida del ciclo di miglioramento dell'AgentCore ottimizzazione. Dopo aver generato un consiglio e averlo convalidato con valutazioni in batch offline, esegui un A/B test per confermare che la modifica migliori le prestazioni sul traffico in tempo reale prima di procedere all'implementazione completa. Puoi indirizzare il traffico verso AgentCore Runtime separati (in base alla destinazione) o fornire configurazioni diverse allo stesso Runtime (pacchetti di configurazione). AgentCore
A/B Quando utilizzare i test
Usa A/B i test quando hai bisogno di:
-
Convalida una raccomandazione prima di indirizzare tutto il traffico di produzione verso la configurazione ottimizzata.
-
Confronta due versioni del modello (ad esempio, passando da un modello base a un altro) sul traffico in tempo reale con rigore statistico.
-
Misura l'impatto di una modifica immediata su sessioni utente reali anziché su un set di test curato.
-
Implementa gradualmente una nuova funzionalità (nuovi strumenti, prompt di sistema aggiornato) convalidandola su un sottoinsieme di traffico in tempo reale prima della distribuzione completa.
Come funziona
Un A/B test segue questo flusso:
-
Si avvia un A/B test con
agentcore run ab-test, specificando un AgentCore gateway già implementato, due varianti (controllo e trattamento), i fattori di ponderazione del traffico e le configurazioni di valutazione online per il punteggio. (Il ruolo di esecuzione è facoltativo: passa--role-arna crearne uno tuo o lascia che sia la CLI a crearne uno). Ogni variante fa riferimento a una versione di destinazione del AgentCore Gateway o a una versione del bundle di configurazione. Il test inizia a ESSERE ESEGUITO non appena il comando ritorna (l'uso--disable-on-createper avviarlo è stato interrotto). -
Il AgentCore Gateway divide il traffico. Una volta eseguito il test, il gateway divide il traffico in entrata tra le due varianti in base all'ID della sessione di runtime. L'assegnazione è permanente; un determinato ID di sessione viene sempre indirizzato alla stessa variante.
-
La valutazione online assegna un punteggio a ogni sessione. La configurazione di valutazione online specificata esegue i valutatori su ogni sessione man mano che viene completata. La pipeline A/B di aggregazione dei test associa i punteggi alle varianti.
-
Il servizio calcola la significatività statistica. Man mano che le dimensioni del campione aumentano, il servizio calcola le metriche per valutatore per ciascuna variante: punteggio medio, variazione assoluta e percentuale, valore p, intervallo di confidenza e indicatore di significatività. Un valore p inferiore a 0,05 indica che la differenza è statisticamente significativa. I risultati del sondaggio sono disponibili
agentcore view ab-test <id>in qualsiasi momento senza influire sulla validità statistica. -
Promuovi la variante di trattamento. Quando i risultati sono significativi, corri
agentcore promote ab-test -i <id>per interrompere il test e scrivere la variante di trattamentoagentcore.json, quindiagentcore deploydistribuirla. (Puoi farlo ancheagentcore stop ab-test -i <id>senza promozione).
A/B modelli di test
A/B i test supportano due modelli di configurazione varianti:
Target-based varianti
Da utilizzare quando la modifica include modifiche al codice, un aggiornamento del framework o quando si desidera confrontare implementazioni di agenti completamente diverse. Ogni variante viene indirizzata a una destinazione AgentCore Gateway diversa che punta a un endpoint di runtime diverso.
Varianti del pacchetto di configurazione
Da utilizzare quando la modifica è puramente di configurazione (prompt di sistema, ID del modello o descrizioni degli strumenti). Entrambe le varianti vengono eseguite sullo stesso AgentCore Runtime con diverse versioni del pacchetto di configurazione. Il AgentCore Gateway inserisce il riferimento del pacchetto in ogni richiesta tramite le intestazioni dei bagagli W3C, che il runtime può utilizzare per estrarre le configurazioni utilizzando l'SDK. AgentCore
Scelta di un modello
| Aspetto | Target-based varianti | varianti del pacchetto di configurazione |
|---|---|---|
|
Cosa varia |
Endpoint di runtime completo (codice, framework, modello) |
Prompt di sistema, descrizioni degli strumenti, parametri del modello |
|
Routing |
Obiettivi diversi per variante |
Stesso obiettivo, pacchetti di configurazione diversi |
|
Configurazione di valutazione |
Una configurazione di valutazione online per Runtime AgentCore |
Configurazione di valutazione online singola condivisa |
|
Quando utilizzarlo |
Modifiche al codice, aggiornamenti del framework, confronto tra diversi agenti |
Configuration-only modifiche su un singolo AgentCore Runtime |
Argomenti
