AgentCore información: Clasifique los fallos de los agentes con un análisis de patrones
nota
AgentCore insights está en versión preliminar pública. Las funciones y las API pueden cambiar antes de que estén disponibles para el público en general.
nota
Al utilizar AgentCore información en ap-south-1, el servicio utiliza los perfiles de inferencia interregional de Bedrock APAC. Al utilizar AgentCore información en ap-northeast-2, el servicio utiliza los perfiles de inferencia transregional global de Bedrock. En ambos casos, su solicitud puede enviarse a cualquiera de las regiones de destino del perfil. Este enrutamiento puede producirse incluso si no ha optado por esas regiones o si las políticas de control de servicios deniegan explícitamente las inferencias en ellas. Las indicaciones de entrada y los resultados de salida pueden almacenarse en estas regiones de destino con fines de detección de usos indebidos.
Amazon Bedrock AgentCore Insights analiza las sesiones de sus agentes para identificar los patrones de error, extraer las intenciones de los usuarios y resumir el comportamiento de ejecución. Insights amplía AgentCore las evaluaciones al proporcionar un análisis de clasificación que va más allá de la puntuación: le indica por qué su agente fracasa y qué es lo que sus usuarios están intentando lograr.
AgentCore insights ofrece tres tipos de análisis:
-
Análisis de errores: identifica los errores en las sesiones de los agentes, los clasifica mediante una taxonomía detallada (errores de herramientas, alucinaciones, razonamiento incorrecto, comportamiento repetitivo, etc.), rastrea las causas fundamentales hasta períodos específicos y ofrece recomendaciones para solucionarlos.
-
Extracción de la intención de los usuarios: extrae lo que los usuarios intentaban lograr en cada sesión y, a continuación, agrupa las intenciones similares para mostrarle los casos de uso más comunes que maneja su agente.
-
Resumen de la ejecución: resume el enfoque que adoptó el agente y el resultado de cada sesión y, a continuación, agrupa patrones de ejecución similares para revelar la forma en que el agente suele resolver los problemas.
Tras el análisis por sesión, el servicio agrupa los resultados en distintas sesiones para mostrar patrones recurrentes. Para el análisis de los errores, se crea una jerarquía de tres niveles: categorías de errores → subcategorías → clústeres de causas principales, cada uno con las sesiones afectadas, las explicaciones y las recomendaciones de corrección.
¿Cómo se obtienen los conocimientos
El análisis de los conocimientos se puede activar de dos maneras:
-
Una sola vez mediante una evaluación por lotes: llame
StartBatchEvaluationinsightspara ejecutar el análisis en un intervalo de tiempo de sesiones. Los resultados se devuelven automáticamenteGetBatchEvaluation. -
Recurrente mediante un cronograma de agrupamiento: configure una
ClusteringConfigconfiguración de evaluación en línea con una o más frecuencias (DAILY,WEEKLY, oMONTHLY). El servicio activa automáticamente los trabajos de evaluación por lotes según la cadencia configurada. También puede crear un informe personalizado en la programación periódica para fijarlo en una fecha y hora específicas.
Per-session El análisis de información se ejecuta automáticamente cuando se configura la información CreateOnlineEvaluationConfig, pero el agrupamiento da como resultado que los patrones de superficie solo se generan durante los trabajos de evaluación por lotes.
Desde la clasificación hasta la optimización
AgentCore insights trabaja junto con la AgentCore optimización para cerrar el ciclo de mejora. Una vez que Insights identifique los patrones de fallo y las causas fundamentales, puede introducir esos resultados en la API de recomendaciones para generar un mensaje de sistema mejorado que aborde los problemas detectados. Esto convierte los resultados del diagnóstico en cambios de configuración procesables:
-
Clasificación: obtenga información para identificar las categorías de fallas recurrentes y las causas principales.
-
Genere una recomendación: llame
StartRecommendationcon el indicador actual del sistema y diríjalo a los mismos rastros de agentes. El servicio produce un mensaje de sistema recomendado con una explicación de lo que ha cambiado. -
Validar: utilice A/B las pruebas para comparar las configuraciones originales y recomendadas con el tráfico en tiempo real.
