AgentCore approfondimenti: valuta i guasti degli agenti con l'analisi dei modelli
Nota
AgentCore insights è disponibile in anteprima pubblica. Le funzionalità e le API possono cambiare prima della disponibilità generale.
Nota
Quando si utilizzano AgentCore approfondimenti in ap-south-1, il servizio utilizza i profili di inferenza interregionale Bedrock APAC. Quando si utilizzano AgentCore approfondimenti in ap-northeast-2, il servizio utilizza i profili di inferenza interregionali globali di Bedrock. In entrambi i casi, la richiesta può essere indirizzata a una qualsiasi delle regioni di destinazione nel profilo. Questo routing può avvenire anche se non avete aderito a tali regioni o se le politiche di controllo del servizio negano esplicitamente l'inferenza in esse. Le istruzioni di input e i risultati di output possono essere archiviati in queste regioni di destinazione per scopi di rilevamento degli abusi.
Amazon Bedrock AgentCore Insights analizza le sessioni degli agenti per identificare modelli di errore, estrarre le intenzioni degli utenti e riepilogare il comportamento di esecuzione. Insights estende le AgentCore valutazioni fornendo analisi di triage che vanno oltre il semplice punteggio: ti spiegano perché il tuo agente fallisce e cosa stanno cercando di ottenere gli utenti.
AgentCore insights offre tre tipi di analisi:
-
Analisi degli errori: identifica gli errori nelle sessioni degli agenti, li classifica utilizzando una tassonomia dettagliata (errori negli strumenti, allucinazioni, ragionamenti errati, comportamenti ripetitivi e altro), riconduce le cause alla radice a intervalli specifici e fornisce consigli per la correzione.
-
Estrazione delle intenzioni degli utenti: estrae ciò che gli utenti stavano cercando di ottenere in ogni sessione, quindi raggruppa intenti simili per mostrare i casi d'uso più comuni gestiti dall'agente.
-
Riepilogo dell'esecuzione: riassume l'approccio adottato dall'agente e il risultato di ogni sessione, quindi raggruppa modelli di esecuzione simili per rivelare come l'agente risolve in genere i problemi.
Dopo l'analisi per sessione, i cluster di servizi raggruppano i risultati tra le sessioni per far emergere modelli ricorrenti. Per quanto riguarda l'analisi degli errori, si ottiene una gerarchia a tre livelli: categorie di errori → sottocategorie → cluster delle cause principali, ciascuno con sessioni interessate, spiegazioni e raccomandazioni per la correzione.
Come vengono attivate le informazioni dettagliate
L'analisi degli approfondimenti può essere attivata in due modi:
-
Una sola volta tramite valutazione in batch: chiama
StartBatchEvaluationwithinsightsper eseguire l'analisi su un intervallo di tempo di sessioni. I risultati vengono restituiti tramiteGetBatchEvaluation. -
Ricorrente tramite pianificazione di clustering: configura una
ClusteringConfigconfigurazione di valutazione online con una o più frequenze (DAILYWEEKLY, o).MONTHLYIl servizio attiva automaticamente i processi di valutazione in batch sulla cadenza configurata. Puoi anche creare un rapporto personalizzato nella pianificazione ricorrente da associare a una data e un'ora specifiche.
Per-session L'analisi degli approfondimenti viene eseguita automaticamente quando gli approfondimenti vengono configurati tramite CreateOnlineEvaluationConfig, ma i risultati raggruppati che emergono dai modelli vengono generati solo durante i processi di valutazione in batch.
Dal triage all'ottimizzazione
AgentCore insights collabora con AgentCore l'ottimizzazione per chiudere il ciclo di miglioramento. Dopo che Insights ha identificato i modelli di errore e le cause principali, puoi inserire tali risultati nell'API Recommendations per generare un prompt di sistema migliorato che risolva i problemi classificati. Questo trasforma l'output diagnostico in modifiche di configurazione attuabili:
-
Triage: esegui approfondimenti per identificare le categorie di errori ricorrenti e le cause principali.
-
Generazione di raccomandazioni: chiamate
StartRecommendationcon il prompt corrente del sistema e indirizzatelo verso le tracce dello stesso agente. Il servizio genera un prompt di sistema consigliato con una spiegazione delle modifiche apportate. -
Convalida: utilizza i A/B test per confrontare le configurazioni originali e consigliate con il traffico in tempo reale.
