Simulação
A simulação permite que você avalie seu agente em relação a conversas dinâmicas de vários turnos geradas por LLM-backed atores. Em vez de repetir scripts fixos, você define perfis de atores com personas e metas, e o mecanismo de simulação conduz conversas realistas com seu agente.
Os cenários simulados se integram aos mesmos executores de conjuntos de dados usados para cenários predefinidos. Você inclui cenários simulados em seu conjunto de dados, define uma configuração de simulação no executor e o executor gerencia o ciclo de vida do ator internamente.
Tipos de simulação
O Amazon Bedrock AgentCore suporta os seguintes tipos de simulação:
-
Simulação de usuário: um LLM-backed ator desempenha o papel de um usuário final interagindo com seu agente. O ator tem uma personalidade (características, contexto) e uma meta e gera mensagens realistas para o usuário até que a meta seja atingida ou o limite de turnos seja atingido. Use a simulação de usuário para testar como seu agente lida com diversos comportamentos de usuários, conversas abertas e casos extremos em grande escala.
Pré-requisitos
-
O extra de simulação:
pip install 'bedrock-agentcore[simulation]'Isso instala o mecanismo de simulação de atores usado para gerar turnos dinâmicos de conversa.
-
AWS credenciais com permissões para invocar o modelo de ator via Amazon Bedrock. O ator é executado como uma chamada LLM separada, portanto, as credenciais usadas pelo executor devem ter
bedrock:InvokeModelpermissão para o modelo especificado em.SimulationConfig.model_id -
Todos os pré-requisitos de avaliação do conjunto de dados se aplicam.
Tópicos
