View a markdown version of this page

AgentCore 见解:通过模式分析对代理故障进行分类 - 亚马逊基岩 AgentCore

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

AgentCore 见解:通过模式分析对代理故障进行分类

注意

AgentCore 见解现已公开预览。在正式发布之前,功能和 API 可能会发生变化。

注意

在 ap-south-1 中使用 AgentCore 见解时,该服务使用 Bedrock APAC 跨区域推理配置文件。在ap-northeast-2中使用 AgentCore 见解时,该服务使用Bedrock全球跨区域推理概况。在这两种情况下,您的请求都可能被路由到配置文件中的任何目标区域。即使你没有选择加入这些区域,或者服务控制策略明确拒绝在这些区域进行推断,也会出现这种路由。输入提示和输出结果可能会存储在这些目标区域中,以进行滥用检测。

Amazon Bedrock AgentCore Insights 会分析您的代理会话以识别故障模式、提取用户意图并总结执行行为。Insights 通过提供不仅限于评分的分类分析来扩展AgentCore 评估范围——它可以告诉你代理失败的原因以及你的用户想要实现的目标。

AgentCore 见解提供三种分析类型:

  • 故障分析:识别代理会话中的故障,使用详细的分类(工具错误、幻觉、错误推理、重复行为等)对其进行分类,将根本原因追溯到特定范围,并提供修复建议。

  • 用户意图提取:提取用户在每个会话中试图完成的内容,然后将相似的意图聚集在一起,向您展示代理处理的最常见用例。

  • 执行摘要:汇总代理采取的方法和每个会话的结果,然后对相似的执行模式进行聚类,以揭示代理通常如何解决问题。

经过每个会话的分析,服务群集会产生跨会话的结果,以显示反复出现的模式。对于故障分析,这会生成三级层次结构:故障类别 → 子类别 → 根本原因群集,每个群集都有受影响的会话、解释和补救建议。

洞察是如何触发的

可以通过两种方式触发见解分析:

  • 一次性批量评估:调StartBatchEvaluation用insights对会话时间范围内的分析进行分析。结果通过返回GetBatchEvaluation。

  • 通过群集计划重复执行:使用一个或多个频率(DAILYWEEKLY、或MONTHLY)ClusteringConfig在您的在线评估配置上配置。该服务会按配置的节奏自动触发批量评估作业。您还可以在定期计划中创建自定义报告,以固定到特定的日期和时间。

Per-session 当通过配置见解时,洞察分析会自动运行 CreateOnlineEvaluationConfig,但是表面模式的聚类结果仅在批量评估任务中生成。

从分类到优化

AgentCore 洞察与AgentCore 优化协同作用,以结束改进循环。在 Insights 确定了故障模式和根本原因后,您可以将这些发现输入到建议 API 中,以生成改进的系统提示来解决已分类的问题。这会将诊断输出转化为可操作的配置更改:

  1. 分类:运行洞察以确定反复出现的故障类别和根本原因。

  2. 生成建议:StartRecommendation使用您当前的系统提示进行呼叫,并将其指向相同的代理跟踪。该服务会生成推荐的系统提示音,并解释其更改内容。

  3. 验证:使用A/B 测试将原始配置和推荐配置与实时流量进行比较。