模拟
通过模拟,您可以根据 LLM-backed 演员生成的动态多回合对话来评估您的代理。您无需重播固定的脚本,而是使用角色和目标来定义演员档案,模拟引擎可以驱动与您的经纪人的真实对话。
模拟场景与用于预定义场景的相同数据集运行器集成。您可以在数据集中包含模拟场景,在运行器上设置模拟配置,然后运行器在内部处理 actor 生命周期。
仿真类型
Amazon Bedrock AgentCore 支持以下模拟类型:
-
用户模拟:角色扮 LLM-backed 演最终用户与您的代理交互的角色。演员具有角色(特征、背景)和目标,并生成逼真的用户消息,直到目标实现或达到回合限制。使用用户模拟来测试您的代理如何大规模处理各种用户行为、开放式对话和边缘案例。
先决条件
-
模拟额外内容:
pip install 'bedrock-agentcore[simulation]'这将安装用于生成动态对话回合的 actor 模拟引擎。
-
AWS 具有通过 Amazon Bedrock 调用演员模型的权限的证书。actor 作为单独的 LLM 调用运行,因此运行者使用的凭据必须具有中
SimulationConfig.model_id指定的模型的bedrock:InvokeModel权限。 -
所有数据集评估先决条件均适用。