View a markdown version of this page

Panel de rendimiento de AI Agent - Amazon Connect Customer

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Panel de rendimiento de AI Agent

Puedes usar el panel de control de rendimiento de los agentes de IA para ver el rendimiento de los agentes de IA y obtener información sobre ellos y a lo largo del tiempo.

El panel de control proporciona un único lugar para ver el rendimiento agregado de los agentes de IA. Usa el panel de control para ver las métricas de tus agentes de IA, como el recuento de invocaciones, la latencia y la tasa de éxito.

Habilitación del acceso al panel

Asegúrese de que a los usuarios se les asignen los permisos de perfil de seguridad adecuados:

Métricas de acceso: permiso de acceso o el panel de control: permiso de acceso. Para obtener información acerca de las diferencias de comportamiento, consulte Asigne permisos para ver los paneles y los informes en Connect Customer.

Se necesita al menos uno de los siguientes permisos del perfil de seguridad para acceder al panel de rendimiento de AI Agent:

  • Diseñador de agentes de IA: permiso de visualización de un agente de IA

  • Diseñador de agentes de IA: permiso de visualización inmediata de IA

  • Diseñador de agentes de IA: permiso de visualización de las barandillas de IA

  • Aplicaciones de agente: permiso de visualización del asistente de conexión

El panel está disponible en: Análisis y optimización > Paneles de análisis > Rendimiento de los agentes de IA.

Especificación de los puntos de referencia “Intervalo de tiempo” y “Comparar con”

Usa el filtro de rango de tiempo para especificar la fecha y el período de tiempo de los que quieres ver los datos en el panel de control.

De forma predeterminada, el panel muestra los datos de la última semana. Puede personalizar el intervalo de tiempo para ver datos tan recientes como los de los últimos 15 minutos o retroceder hasta 3 meses en el historial.

Usa el filtro Comparar para seleccionar un período de tiempo con el que comparar tus datos actuales. Con el filtro Comparar con, puede identificar tendencias y hacer un seguimiento de las mejoras o los problemas a lo largo del tiempo.

Self-service Resumen del rendimiento de la IA

En esta sección se muestra el estado de Self-Service las interacciones AI-Agent iniciadas. Muestra las siguientes métricas clave para el período de tiempo seleccionado, filtradas por caso práctico de «autoservicio»:

  • Contactos relacionados con la IA:

    Recuento total de contactos gestionados en los que los agentes de IA resolvieron las consultas de los clientes sin la participación de agentes humanos.

  • Agentes de IA activos:

    El número total de agentes de IA únicos, donde cada agente se identifica por su combinación única de nombre y versión.

  • Tasa de respuesta completada:

    El porcentaje de sesiones de agentes de IA que respondieron correctamente a las solicitudes entrantes.

  • Tasa de transferencia:

    Porcentaje de contactos de autoservicio gestionados por agentes de IA que se marcaron como necesitados de asistencia adicional, incluidos, entre otros, agentes humanos.

  • Tasa de éxito de los objetivos:

    La proporción de sesiones en las que los agentes de IA resolvieron satisfactoriamente los problemas de los clientes. El valor está entre 0 y 1, donde 1 indica una resolución satisfactoria en todas las sesiones.

  • Puntuación de fidelidad:

    La proporción de respuestas de los agentes de IA que se mantienen fieles al contexto de la conversación, incluidos los mensajes y los resultados de las llamadas a las herramientas. El valor está entre 0 y 1, donde 1 indica una fidelidad contextual perfecta.

La siguiente imagen muestra un ejemplo de gráfico resumido del rendimiento de la Self-service IA.

El gráfico resumido del rendimiento de los agentes de IA de autoservicio.

Resumen del rendimiento de la IA de asistencia a los agentes

Este widget muestra el estado de las interacciones asistidas por agentes en las que la IA brinda apoyo a los agentes humanos. Muestra las siguientes métricas clave para el período de tiempo seleccionado, filtradas según el caso práctico de «Asistencia de agentes».

  • La IA involucró contactos:

    Número total de contactos en los que los agentes de IA ayudaron a agentes humanos a resolver las consultas de los clientes.

  • Agentes de IA activos:

    El número total de agentes de IA únicos, donde cada agente se identifica por su combinación única de nombre y versión.

  • Tasa de respuesta completada:

    El porcentaje de sesiones de agentes de IA que respondieron correctamente a las solicitudes entrantes.

  • Tasa de participación proactiva con la intención:

    Porcentaje de intentos proactivos detectados en los que los agentes humanos hacen clic.

  • Puntuación de fidelidad:

    La proporción de respuestas de los agentes de IA que se mantienen fieles al contexto de la conversación, incluidos los mensajes y los resultados de las llamadas a las herramientas. El valor está entre 0 y 1, donde 1 indica una fidelidad contextual perfecta.

La siguiente imagen muestra un ejemplo de un gráfico resumido del rendimiento de la IA de Agent Assistance.

El gráfico resumido del rendimiento de la IA de asistencia a los agentes.

Rendimiento de los agentes de IA

Esta tabla proporciona una visión detallada del rendimiento de los agentes de IA, desde los casos de uso hasta las versiones individuales de los agentes, y sus principales métricas de rendimiento.

La tabla muestra las métricas de rendimiento en dos niveles:

  • Nivel de caso de uso de IA:

    Métricas agregadas de todas las versiones de los agentes de un caso de uso (autoservicio para el cliente final, asistencia a los agentes).

  • Nivel de versión del agente de IA:

    Métricas de rendimiento individuales para cada versión del agente.

Puede expandir o reducir las filas de casos de uso para desglosar las versiones específicas del agente. Para ver cómo contribuye cada versión al rendimiento general de los casos de uso, consulte las métricas individuales de cada fila de la versión del agente.

Métricas mostradas:

  • Recuento de invocaciones de agentes de IA:

    Número total de veces que se invocó la versión del agente de IA.

  • Tasa de éxito de invocación del agente de IA:

    Porcentaje de invocaciones de agentes de IA que se ejecutaron correctamente.

  • Prom. La conversación entre agentes de IA gira en torno a:

    Número medio de turnos de conversación que el agente de IA ha realizado para llegar a un resultado.

  • Respuesta útil:

    El recuento de sugerencias de IA calificadas como útiles con el visto bueno.

  • Respuesta poco útil:

    El recuento de sugerencias de la IA calificadas como inútiles con una valoración negativa.

  • Precisión en el uso de la herramienta:

    La tasa de uso correcto de la herramienta por parte del agente de IA. El valor está entre 0 y 1, donde 1 indica un uso perfecto.

  • Precisión de selección de herramientas:

    La tasa de selección correcta de herramientas por parte de los agentes de IA. El valor está entre 0 y 1, donde 1 indica la selección óptima.

  • Precisión de los parámetros de la herramienta:

    La tasa de invocaciones de herramientas en las que los agentes de IA proporcionaron los parámetros correctos. El valor está entre 0 y 1, donde 1 indica una precisión perfecta de los parámetros.

La siguiente imagen muestra un ejemplo de una tabla de rendimiento de los agentes de IA.

La tabla de rendimiento de los agentes de IA.

Agentes de IA por tasa de éxito de invocación

El gráfico de la tasa de éxito de la invocación de los agentes de IA muestra la tasa de éxito de la invocación de cada agente de IA. Puedes configurar aún más este widget filtrando los agentes de IA específicos, el tipo de agente de IA, el caso de uso de la IA u otras dimensiones directamente desde este gráfico.

En la siguiente imagen se muestra un ejemplo de un gráfico de la tasa de éxito de las invocaciones entre agentes de IA.

Gráfico de la tasa de éxito de los agentes de IA por invocación.

Uso de la base de conocimientos

Esta tabla proporciona una vista detallada de los artículos de la base de conocimientos a los que hacen referencia sus agentes de IA. Puedes ampliarlos por tipo de agente de IA y filas de agentes de IA para desglosar un nombre específico de la base de conocimientos y ver cuántas veces los agentes de IA han hecho referencia a una base de conocimientos.

Métricas mostradas:

  • Recuento de referencias: número de veces que los agentes de IA hicieron referencia al artículo.

La siguiente imagen muestra un ejemplo de una tabla de uso de la base de conocimientos.

La tabla de uso de la base de conocimientos.

Tendencia de rendimiento de los agentes de IA

La tendencia del rendimiento de los agentes de IA es un gráfico de series temporales que muestra la tasa de éxito en las invocaciones de los agentes de IA (barras azules), la puntuación de fidelidad (línea roja) y la precisión en el uso de las herramientas (línea verde) durante un período de tiempo determinado, desglosados por intervalos (15 minutos, diarios, semanales o mensuales). Puede configurar diferentes intervalos de tiempo con el botón Intervalo directamente en el widget. Los intervalos que puedes seleccionar dependen del filtro de intervalo temporal a nivel de página.

Por ejemplo:

  • Si seleccionas el filtro de intervalo horario «Hoy» en tu panel de control, solo podrás ver un intervalo de 15 minutos de las últimas 24 horas.

  • Si seleccionas el filtro de intervalo horario «Día» en tu panel de control, puedes ver una tendencia con intervalos de 8 días o una tendencia con intervalos de 15 minutos en las últimas 24 horas.

  • Si seleccionas el filtro de intervalo de tiempo «semanal» en tu panel de control, podrás ver las tendencias de los intervalos diarios o semanales.

  • Si seleccionas el filtro de intervalo temporal «Mes» en tu panel de control, puedes ver las tendencias de los intervalos diarios o mensuales.

La siguiente imagen muestra un ejemplo de gráfico de tendencias de rendimiento de los agentes de IA.

El gráfico de tendencias de rendimiento de los agentes de IA.

Uso de herramientas de IA

En esta tabla se comparan las implementaciones de herramientas (por ejemplo, MCP (Model Context Protocol Return-to-Control)) en función de las invocaciones, la latencia media y la tasa de éxito de las invocaciones y la precisión en el uso de las herramientas.

Por ejemplo, puede seleccionar un tipo de agente de IA (como el de orquestación o de recomendación de respuestas) y ver el rendimiento de las diferentes herramientas y sus versiones dentro de ese tipo de agente. Puedes identificar qué versiones de las herramientas deben optimizarse ordenando las columnas según el recuento de invocaciones de las herramientas de IA, la tasa de éxito de las invocaciones de las herramientas de IA o el promedio. Latencia de invocación de herramientas de IA.

La tabla muestra las métricas de rendimiento en tres niveles:

  • Nivel de tipo de agente de IA:

    Métricas agregadas de todas las herramientas y versiones de un tipo de agente.

  • Nivel de tipo de herramienta de IA:

    Métricas agregadas de todas las versiones de un tipo de herramienta específico.

  • Herramienta de IA:

    Métricas de rendimiento individuales para cada versión de la herramienta.

Puedes expandir o reducir las filas del tipo de agente de IA y del tipo de herramienta para desglosar versiones específicas de la herramienta. Para ver cómo contribuye cada versión al rendimiento general de los tipos de herramienta, consulta las métricas individuales de cada fila de la versión de la herramienta.

Métricas mostradas:

  • Recuento de invocaciones de herramientas de IA:

    Número total de veces que se invocó la versión de la herramienta de IA.

  • Prom. Latencia de invocación de la herramienta de IA:

    Latencia de invocación promedio en milisegundos para la versión de la herramienta.

  • Tasa de éxito en la invocación de herramientas de IA:

    Porcentaje de invocaciones de herramientas de IA que se ejecutaron correctamente.

  • Precisión en el uso de la herramienta:

    La tasa de uso correcto de la herramienta por parte del agente de IA. El valor está entre 0 y 1, donde 1 indica un uso perfecto.

  • Precisión de selección de herramientas:

    La tasa de selección correcta de herramientas por parte de los agentes de IA. El valor está entre 0 y 1, donde 1 indica la selección óptima.

  • Precisión de los parámetros de la herramienta:

    La tasa de invocaciones de herramientas en las que los agentes de IA proporcionaron los parámetros correctos. El valor está entre 0 y 1, donde 1 indica una precisión perfecta de los parámetros.

La siguiente imagen muestra un ejemplo de tabla de uso de herramientas de IA.

La tabla de uso de las herramientas de IA.

Rendimiento rápido de la IA

Esta tabla ofrece una visión detallada del rendimiento rápido de la IA. Puedes ampliar las filas de tipos de agentes de IA y tipos de avisos para desglosar las versiones específicas de los avisos. Para ver cómo contribuye cada versión al rendimiento general de los tipos de anuncios, consulta las métricas individuales de cada fila de versiones de anuncios.

La tabla muestra las métricas de rendimiento en tres niveles:

  • Nivel de tipo de agente de IA:

    Métricas agregadas de todas las solicitudes y versiones de un tipo de agente de IA.

  • Nivel de tipo de aviso de IA:

    Métricas agregadas de todas las versiones de un tipo de mensaje de IA específico.

  • Nivel de versión del mensaje de IA:

    Métricas de rendimiento individuales para cada versión de AI Prompt.

Métricas mostradas:

  • Recuento de invocaciones rápidas de la IA:

    Número total de veces que se invocó la versión de avisos de la IA.

  • Tasa de éxito en la invocación rápida de la IA:

    Porcentaje de invocaciones de solicitudes de IA que se ejecutaron correctamente.

  • Prom. Latencia de invocación de mensajes de IA:

    Latencia de invocación promedio en milisegundos para la versión de aviso de IA.

Además de usar los filtros de página, puedes añadir filtros a la tabla para agentes de IA específicos, solicitudes de IA, intervalos de tiempo u otras dimensiones.

La siguiente imagen muestra un ejemplo de una tabla de rendimiento de las notificaciones de IA.

La tabla de rendimiento de las llamadas de IA.

Tendencia de intenciones proactivas

El gráfico de tendencias de las intenciones proactivas muestra las intenciones proactivas detectadas (barras azules), comparándolas con la tasa de interacción con las intenciones proactivas (línea roja) y la tasa de respuesta proactiva (línea verde) durante un período de tiempo determinado, desglosadas por intervalos (15 minutos, diarios, semanales o mensuales). Puede configurar diferentes intervalos de tiempo con el botón Intervalo directamente en el widget. Los intervalos que puede seleccionar dependen del filtro de intervalo de tiempo a nivel de página.

Métricas mostradas:

  • Intenciones proactivas detectadas:

    El número de intentos proactivos (consultas de los clientes) detectados durante las sesiones de IA, para los casos de uso de la asistencia a los agentes.

  • Tasa de participación proactiva con la intención:

    El porcentaje de intentos proactivos detectados en los que agentes humanos hicieron clic o interactuaron con ellos, para los casos de uso de la asistencia a los agentes.

  • Tasa de respuesta intencional proactiva:

    El porcentaje de intentos proactivos comprometidos que los agentes de IA cumplieron satisfactoriamente, en el caso de los casos de uso de la asistencia a los agentes.

La siguiente imagen muestra un ejemplo de gráfico de tendencias de intenciones proactivas.

El gráfico de tendencias de intenciones proactivas.

La IA avisa según la latencia de invocación

El gráfico de solicitudes de IA por latencia de invocación muestra la latencia de invocación promedio en milisegundos para cada solicitud de IA. Puedes configurar aún más este widget filtrando directamente desde este gráfico para ver las solicitudes de IA específicas, el tipo de solicitud de IA, el agente de IA, el tipo de agente de IA, el caso de uso de la IA u otras dimensiones.

La siguiente imagen muestra un ejemplo de un gráfico de latencia de invocación de solicitudes de IA por invocación.

La IA muestra las indicaciones mediante un gráfico de latencia de invocación.

La IA solicita información según la tasa de éxito de la invocación

El gráfico del índice de éxito de invocaciones de IA muestra el índice de éxito de cada invocación de IA. Puedes configurar aún más este widget filtrando las solicitudes de IA específicas, el tipo de solicitud de IA, el agente de IA, el tipo de agente de IA, el caso de uso de la IA u otras dimensiones directamente desde este gráfico.

En la siguiente imagen se muestra un ejemplo de un gráfico de la tasa de éxito de las solicitudes de IA por invocación.

La IA muestra el gráfico del índice de éxito de las solicitudes por invocación.