AgentCore 洞察:使用模式分析分類代理程式失敗
注意
AgentCore 洞察處於公開預覽狀態。在一般可用性之前,功能和 APIs 可能會變更。
注意
在 ap-south-1 中使用 AgentCore 洞察時,服務會使用 Bedrock APAC 跨區域推論設定檔。在 ap-northeast-2 中使用 AgentCore 洞察時,服務會使用 Bedrock 全域跨區域推論設定檔。在這兩種情況下,您的請求可能會路由到設定檔中的任何目的地區域。即使您尚未選擇加入這些區域,或具有明確拒絕其中推論的服務控制政策,也可能會發生此路由。輸入提示和輸出結果可能會存放在這些目的地區域中,以供濫用偵測之用。
Amazon Bedrock AgentCore 洞見會分析您的代理程式工作階段,以識別故障模式、擷取使用者意圖,以及摘要執行行為。Insights 透過提供超過評分的分類分析來擴展 AgentCore 評估,它會告訴您為什麼您的代理程式失敗,以及使用者嘗試完成什麼。
AgentCore 洞察提供三種分析類型:
-
失敗分析:識別客服人員工作階段中的失敗、使用詳細的分類法 (工具錯誤、幻覺、不正確的推理、重複行為等) 進行分類、追蹤根本原因回到特定範圍,並提供修正建議。
-
使用者意圖擷取:擷取使用者嘗試在每個工作階段中完成的內容,然後將類似的意圖叢集在一起,以顯示客服人員處理的最常見使用案例。
-
執行摘要:摘要說明客服人員採取的方法和每個工作階段的結果,然後叢集類似的執行模式,以顯示客服人員通常如何解決問題。
每個工作階段分析之後,服務叢集會跨工作階段產生結果,以呈現週期性模式。對於故障分析,這會產生三個層級的階層:故障類別 → 子類別 → 根本原因叢集,每個叢集都有受影響的工作階段、說明和修復建議。
如何觸發洞見
Insights 分析有兩種觸發方式:
-
透過批次評估一次:
StartBatchEvaluation使用 呼叫insights以在工作階段的時間範圍執行分析。結果會透過 傳回GetBatchEvaluation。 -
透過叢集排程週期性:使用一或多個頻率 (
DAILY、 或 ) 在線上評估組態ClusteringConfig上設定WEEKLYMONTHLY。服務會在設定的節奏上自動觸發批次評估任務。您也可以在週期性排程中建立自訂報告,以鎖定至特定日期和時間。
透過 CreateOnlineEvaluationConfig 設定洞見時,每個工作階段洞見分析會自動執行,但只會在批次評估任務期間產生表面模式的叢集結果。
從分類到最佳化
AgentCore 洞察與 AgentCore 最佳化搭配使用,以關閉改進迴圈。洞察識別故障模式和根本原因後,您可以將這些調查結果饋送至建議 API,以產生改善的系統提示,以解決分類問題。這會將診斷輸出轉換為可行的組態變更:
-
分類:執行洞察以識別重複失敗類別和根本原因。
-
產生建議:
StartRecommendation使用您目前的系統提示呼叫 ,並將其指向相同的客服人員追蹤。服務會產生建議的系統提示,並說明其變更內容。 -
驗證:使用 A/B 測試來比較原始和建議的組態與即時流量。