Simulazione
La simulazione ti consente di valutare il tuo agente rispetto a conversazioni dinamiche e a turni multiple generate dagli attori. LLM-backed Invece di ripetere sceneggiature predefinite, definisci i profili degli attori con personaggi e obiettivi, e il motore di simulazione avvia conversazioni realistiche con il tuo agente.
Gli scenari simulati si integrano con gli stessi dataset runner utilizzati per scenari predefiniti. Includi scenari simulati nel tuo set di dati, imposti una configurazione di simulazione sul runner e il runner gestirà internamente il ciclo di vita dell'attore.
Tipi di simulazione
Amazon Bedrock AgentCore supporta i seguenti tipi di simulazione:
-
Simulazione utente: un LLM-backed attore interpreta il ruolo di un utente finale che interagisce con il tuo agente. L'attore ha una personalità (caratteristiche, contesto) e un obiettivo e genera messaggi utente realistici fino al raggiungimento dell'obiettivo o al raggiungimento del limite di turni. Usa la simulazione degli utenti per testare in che modo il tuo agente gestisce i diversi comportamenti degli utenti, le conversazioni aperte e i casi limite su larga scala.
Prerequisiti
-
I vantaggi aggiuntivi della simulazione:
pip install 'bedrock-agentcore[simulation]'Questo installa il motore di simulazione degli attori utilizzato per generare turni di conversazione dinamici.
-
AWS credenziali con autorizzazioni per richiamare il modello dell'attore tramite Amazon Bedrock. L'attore viene eseguito come chiamata LLM separata, quindi le credenziali utilizzate dal corridore devono disporre
bedrock:InvokeModeldell'autorizzazione per il modello specificato in.SimulationConfig.model_id -
Si applicano tutti i prerequisiti per la valutazione del set di dati.
Argomenti
