AgentCore 见解:通过模式分析对代理故障进行分类
注意
AgentCore 见解处于公开预览阶段。功能和 API 可能会在正式发布之前发生变化。
注意
在 ap-south-1 中使用 AgentCore 见解时,该服务使用 Bedrock APAC 跨区域推理配置文件。在 ap-northeast-2 中使用 AgentCore 见解时,该服务使用 Bedrock 全球跨区域推理配置文件。在这两种情况下,您的请求都可能被发送到配置文件中的任何目标区域。即使您没有选择加入这些区域,或者服务控制策略明确拒绝在这些区域中进行推理,也可能发生这种路由。输入提示和输出结果可能会存储在这些目标区域中,以进行滥用检测。
Amazon Bedrock AgentCore 见解会分析您的代理会话,以识别故障模式、提取用户意图并总结执行行为。Insights 通过提供超出AgentCore 评分范围的分类分析来扩展评估范围——它可以告诉你代理失败的原因以及你的用户想要完成什么。
AgentCore 见解提供了三种分析类型:
-
失败分析:识别代理会话中的故障,使用详细的分类(工具错误、幻觉、错误推理、重复行为等)对其进行分类,将根本原因追溯到特定的跨度,并提供修复建议。
-
用户意图提取:提取用户在每个会话中尝试完成的内容,然后将相似的意图聚集在一起,向您展示代理处理的最常见用例。
-
执行摘要:汇总代理采取的方法和每个会话的结果,然后对相似的执行模式进行聚类以揭示您的代理通常如何解决问题。
在每个会话分析之后,服务集群会生成跨会话的结果,以显示重复出现的模式。对于故障分析,这将生成一个三级层次结构:故障类别 → 子类别 → 根本原因群集,每个群集都有受影响的会话、解释和补救建议。
洞察是如何触发的
可以通过两种方式触发洞察分析:
-
一次通过批量评估:致电
StartBatchEvaluationinsights以在一定时间范围内的会话中运行分析。结果通过返回GetBatchEvaluation。 -
通过群集计划重复:
ClusteringConfig在您的在线评估配置上配置一个或多个频率(DAILYWEEKLY、或MONTHLY)。该服务按配置的节奏自动触发批量评估作业。您还可以在定期计划中创建自定义报告,以固定到特定的日期和时间。
Per-session 通过配置见解时,洞察分析会自动运行 CreateOnlineEvaluationConfig,但是表面模式的聚类结果只能在批量评估作业中生成。
从分类到优化
AgentCore 洞察力与AgentCore 优化相结合,以结束改进循环。在洞察确定失败模式和根本原因后,您可以将这些发现输入建议 API,以生成经过改进的系统提示来解决已分类的问题。这会将诊断输出转化为可操作的配置更改:
-
分类:运行见解以确定反复出现的故障类别和根本原因。
-
生成建议:
StartRecommendation使用您当前的系统提示进行呼叫,然后将其指向相同的代理跟踪。该服务会生成推荐的系统提示符,并说明其更改内容。 -
验证:使用A/B 测试将原始配置和推荐配置与实时流量进行比较。