Come funziona
AgentCore l'ottimizzazione collega i risultati della valutazione ai miglioramenti convalidati attraverso un ciclo ripetibile. Un'iterazione tipica segue questi passaggi:
-
Genera un consiglio: indirizza l'API Recommendations alle tracce degli agenti nei CloudWatch log e specifica lo strumento di valutazione per cui desideri ottimizzare. Il servizio analizza i modelli di errore e restituisce un prompt di sistema ottimizzato o una serie di descrizioni degli strumenti, insieme a una spiegazione di cosa è cambiato e perché.
-
(Facoltativo) Pacchetto come pacchetto di configurazione: crea una versione del pacchetto con la configurazione consigliata. Un pacchetto è un'istantanea con versione immutabile della configurazione di un agente (istruzioni di sistema, ID dei modelli, descrizioni degli strumenti) che può essere modificata dinamicamente senza l'implementazione di codice. I pacchetti di configurazione sono utili quando si desidera disaccoppiare il comportamento dell'agente dal codice; non sono necessari. È inoltre possibile convalidare le modifiche distribuendole su un endpoint di runtime separato.
-
Convalida con un A/B test: suddividi il traffico di produzione tra l'agente corrente (controllo) e la versione migliorata (trattamento) tramite Gateway. AgentCore La valutazione online assegna un punteggio a ogni sessione e riporta i risultati con rilevanza statistica. A/B i test supportano due modelli:
-
Varianti del pacchetto di configurazione: stesso runtime, diverse versioni del pacchetto. Da utilizzare quando la modifica riguarda esclusivamente la configurazione (prompt, ID del modello, descrizioni degli strumenti).
-
Target-based varianti: diversi target di gateway che puntano a diversi endpoint di runtime. Da utilizzare quando la modifica include modifiche al codice, un aggiornamento del framework o quando si desidera confrontare implementazioni di agenti completamente diverse. Ogni variante può avere una propria configurazione di valutazione online.
-
-
Implementa la variante vincente e ripeti: indirizza il 100% del traffico verso la variante vincente. Le nuove tracce della nuova linea di base forniscono le basi per l'iterazione successiva.