AgentCore 优化:通过建议和 A/B 测试改善代理质量循环
Amazon Bedrock AgentCore 优化提供了通过数据驱动的配置更改来持续提高代理性能的工具。您无需手动重写提示和手动测试,而是使用代理跟踪来生成改进并通过对照实验对其进行验证。
AgentCore 优化建立在AgentCore 评估的基础上,引入了三种功能:
-
建议:基于真实代理跟踪和目标评估者对系统提示和工具描述进行 AI-generated 改进。该服务根据目标评估器分析故障模式,并生成系统提示或工具描述的优化变体。
-
配置包:代理配置(系统提示、模型 ID、工具描述)的版本化、不可变快照,可将代理行为与代码分离,无需重新部署即可实现行为更改。配置包是可选的;您也可以通过部署到单独的运行时端点来验证更改。
-
A/B 测试:通过 AgentCore Gateway 控制流量在两个变体之间进行分配,每个会话的在线评估评分并报告统计学意义。变体可以是同一运行时上的不同配置包版本,也可以是指向不同运行时端点的不同网关目标。
这些功能共同构成了一个持续的改进循环: