View a markdown version of this page

Tableau de bord des performances des agents IA - Client Amazon Connect

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Tableau de bord des performances des agents IA

Vous pouvez utiliser le tableau de bord des performances des agents IA pour consulter les performances des agents IA et obtenir des informations sur les agents IA et au fil du temps.

Le tableau de bord fournit un endroit unique pour consulter les performances agrégées des agents IA. Utilisez le tableau de bord pour consulter les statistiques de vos agents IA, telles que le nombre d'invocations, la latence et le taux de réussite.

Octroi d’accès au tableau de bord

Assurez-vous que les utilisateurs disposent des autorisations de profil de sécurité appropriées :

Métriques d'accès - Autorisation d'accès ou Tableau de bord - Autorisation d'accès. Pour plus d’informations sur les différences de comportement, consultez Attribuez des autorisations pour afficher les tableaux de bord et les rapports dans Connect Customer.

Au moins l'une des autorisations de profil de sécurité suivantes est requise pour accéder au tableau de bord AI Agent Performance :

  • Concepteur d'agents IA — Autorisation d'affichage des agents IA

  • Concepteur d'agents IA — Autorisation d'affichage rapide de l'IA

  • Concepteur d'agents IA — AI Guardrails affiche les autorisations

  • Applications d'agent — Autorisation d'affichage de l'assistant Connect

Le tableau de bord est disponible à l'adresse suivante : Analyses et optimisation > Tableaux de bord analytiques > Performance des agents IA.

Spécification de la « plage de temps » et de la référence « Comparer à »

Utilisez le filtre de plage horaire pour spécifier la date et la période pour lesquelles vous souhaitez afficher les données dans le tableau de bord.

Par défaut, le tableau de bord affiche les données de la semaine dernière. Vous pouvez personnaliser la plage horaire pour afficher des données aussi récentes que les 15 dernières minutes ou remontant à 3 mois dans l'historique.

Utilisez le filtre Comparer pour sélectionner la période à laquelle comparer vos données actuelles. Le filtre Comparer pour vous permet d'identifier les tendances et de suivre les améliorations ou les problèmes au fil du temps.

Self-service Résumé des performances de l'IA

Cette section présente l'état de santé de vos Self-Service interactions AI-Agent initiées. Il affiche les indicateurs clés suivants pour la période sélectionnée, filtrés par cas d'utilisation « Self service » :

  • Contacts impliqués dans l'IA  :

    Nombre total de contacts traités dans le cadre desquels des agents IA ont résolu les demandes des clients sans faire intervenir d'agents humains.

  • Agents IA actifs  :

    Le nombre total d'agents IA uniques, chaque agent étant identifié par sa combinaison unique de nom et de version.

  • Taux d'achèvement des réponses  :

    Le pourcentage de sessions d'agents IA qui ont réussi à répondre aux demandes entrantes.

  • Taux de transfert :

    Pourcentage de contacts en libre-service gérés par des agents d'IA qui ont été identifiés comme nécessitant un soutien supplémentaire, y compris, mais sans s'y limiter, des agents humains.

  • Taux de réussite des objectifs  :

    Proportion de sessions au cours desquelles les agents IA ont réussi à résoudre les problèmes des clients. La valeur est comprise entre 0 et 1, où 1 indique une résolution réussie pour toutes les sessions.

  • Score de fidélité :

    La proportion de réponses des agents d'IA qui restent fidèles au contexte conversationnel, y compris les messages et les résultats des appels aux outils. La valeur est comprise entre 0 et 1, où 1 indique une fidélité contextuelle parfaite.

L'image suivante montre un exemple de graphique récapitulatif des performances de l'Self-service IA.

Tableau récapitulatif des performances des agents d'IA en libre-service.

Résumé des performances de l'IA d'assistance aux agents

Ce widget montre l'état de vos interactions assistées par un agent dans le cadre desquelles l'IA fournit un soutien aux agents humains. Il affiche les indicateurs clés suivants pour la période sélectionnée, filtrés par cas d'utilisation « Assistance aux agents ».

  • Contacts impliqués dans l'IA  :

    Nombre total de contacts où des agents IA ont aidé des agents humains à résoudre les demandes des clients.

  • Agents IA actifs  :

    Le nombre total d'agents IA uniques, chaque agent étant identifié par sa combinaison unique de nom et de version.

  • Taux d'achèvement des réponses  :

    Le pourcentage de sessions d'agents IA qui ont réussi à répondre aux demandes entrantes.

  • Taux d'engagement des intentions proactives  :

    Pourcentage d'intentions proactives détectées sur lesquelles des agents humains ont cliqué.

  • Score de fidélité :

    La proportion de réponses des agents d'IA qui restent fidèles au contexte conversationnel, y compris les messages et les résultats des appels aux outils. La valeur est comprise entre 0 et 1, où 1 indique une fidélité contextuelle parfaite.

L'image suivante montre un exemple de graphique récapitulatif des performances de l'IA d'assistance aux agents.

Tableau récapitulatif des performances de l'IA d'assistance aux agents.

Performances des agents IA

Ce tableau fournit une vue détaillée des performances des agents d'IA, du cas d'utilisation aux versions individuelles des agents et à leurs principaux indicateurs de performance.

Le tableau affiche les indicateurs de performance à deux niveaux :

  • Niveau de cas d'utilisation de l'IA  :

    Statistiques agrégées pour toutes les versions d'agent au sein d'un cas d'utilisation (self-service pour le client final, assistance aux agents).

  • Niveau de version de l'agent AI  :

    Indicateurs de performance individuels pour chaque version de l'agent.

Vous pouvez développer ou réduire les lignes de cas d'utilisation pour accéder à des versions d'agent spécifiques. Pour voir comment chaque version contribue aux performances globales des cas d'utilisation, consultez les mesures individuelles pour chaque ligne de version de l'agent.

Métriques affichées :

  • Nombre d'appels d'agents IA :

    Nombre total de fois que la version de l'agent AI a été invoquée.

  • Taux de réussite de l'invocation des agents IA :

    Pourcentage d'appels d'agents d'IA qui ont été exécutés avec succès.

  • Moyenne. La conversation avec les agents IA prend une tournure :

    Nombre moyen de tours de conversation nécessaires à l'agent IA pour parvenir à un résultat.

  • Réponse utile  :

    Le nombre de suggestions d'IA considérées comme utiles avec un pouce levé.

  • Réponse inutile :

    Le nombre de suggestions d'IA considérées comme inutiles avec un pouce vers le bas.

  • Précision d'utilisation de l'outil  :

    Taux d'utilisation correcte des outils par l'agent d'IA. La valeur est comprise entre 0 et 1, où 1 indique une utilisation parfaite.

  • Précision de sélection des outils  :

    Taux de sélection d'outils corrects par les agents IA. La valeur est comprise entre 0 et 1, où 1 indique une sélection optimale.

  • Précision des paramètres de l'outil  :

    Taux d'appels d'outils pour lesquels les agents IA ont fourni les bons paramètres. La valeur est comprise entre 0 et 1, où 1 indique une précision parfaite des paramètres.

L'image suivante montre un exemple de tableau des performances des agents IA.

Tableau des performances des agents IA.

Taux de réussite des invocations des agents IA

Le graphique des taux de réussite par invocation des agents IA affiche le taux de réussite des invocations pour chaque agent IA. Vous pouvez configurer davantage ce widget en filtrant des agents d'IA spécifiques, un type d'agent d'IA, un cas d'utilisation de l'IA ou d'autres dimensions directement à partir de ce graphique.

L'image suivante montre un exemple de graphique du taux de réussite des appels d'agents IA.

Tableau des taux de réussite des agents IA par invocation.

Utilisation de la base de connaissances

Ce tableau fournit une vue détaillée des articles de la base de connaissances référencés par vos agents d'IA. Vous pouvez étendre votre recherche par type d'agent d'IA et par lignes d'agent d'IA pour accéder à un nom de base de connaissances spécifique et voir combien de fois une base de connaissances a été référencée par les agents d'IA.

Métriques affichées :

  • Nombre de références  : nombre de fois que l'article a été référencé par des agents d'IA.

L'image suivante montre un exemple de tableau d'utilisation de la base de connaissances.

Tableau d'utilisation de la base de connaissances.

Tendance des performances des agents d'IA

La tendance des performances des agents IA est un graphique chronologique qui affiche le taux de réussite des appels des agents IA (barres bleues), le score de fidélité (ligne rouge) et la précision d'utilisation des outils (ligne verte) sur une période donnée, ventilés par intervalles (15 minutes, tous les jours, toutes les semaines, tous les mois). Vous pouvez configurer différents intervalles de plage de temps en utilisant le bouton « Intervalle » directement dans le widget. Les intervalles que vous pouvez sélectionner dépendent du filtre de plage horaire au niveau de la page.

Par exemple :

  • Si vous sélectionnez le filtre de plage horaire « Aujourd'hui » sur votre tableau de bord, vous ne pouvez voir qu'un intervalle de 15 minutes pour les dernières 24 heures.

  • Si vous sélectionnez le filtre de plage horaire « Jour » sur votre tableau de bord, vous pouvez voir une tendance d'intervalle de 8 jours ou une tendance d'intervalle de 15 minutes pour les 24 dernières heures.

  • Si vous sélectionnez le filtre de plage horaire « Semaine » sur votre tableau de bord, vous pouvez voir les tendances des intervalles quotidiens ou hebdomadaires.

  • Si vous sélectionnez le filtre de plage horaire « Mois » sur votre tableau de bord, vous pouvez voir les tendances des intervalles quotidiens ou mensuels.

L'image suivante montre un exemple de graphique des tendances des performances des agents IA.

Le graphique des tendances des performances des agents d'IA.

Utilisation des outils d'IA

Ce tableau compare les implémentations d'outils (par exemple, MCP - Model Context Protocol Return-to-Control) en ce qui concerne les invocations, la latence moyenne et le taux de réussite des invocations, ainsi que la précision d'utilisation des outils.

Par exemple, vous pouvez sélectionner un type d'agent IA (tel que Orchestration ou Answer Recommendation) et visualiser les performances des différents outils et de leurs versions au sein de ce type d'agent. Vous pouvez identifier les versions d'outils qui doivent être optimisées en triant les colonnes en fonction du nombre d'invocations d'outils d'IA, du taux de réussite des invocations d'outils d'IA ou de la moyenne. Latence d'invocation des outils d'IA.

Le tableau affiche les indicateurs de performance à trois niveaux :

  • Niveau de type d'agent IA  :

    Statistiques agrégées pour tous les outils et toutes les versions d'un type d'agent.

  • Niveau de type d'outil d'IA  :

    Statistiques agrégées pour toutes les versions d'un type d'outil spécifique.

  • Outil d'IA  :

    Mesures de performance individuelles pour chaque version de l'outil.

Vous pouvez développer ou réduire les lignes de type d'agent d'IA et de type d'outil pour accéder à des versions d'outils spécifiques. Pour voir comment chaque version contribue aux performances globales des types d'outils, consultez les mesures individuelles pour chaque ligne de version d'outil.

Statistiques affichées :

  • Nombre d'invocations d'outils d'IA :

    Nombre total de fois que la version de l'outil d'IA a été invoquée.

  • Moyenne. Latence d'invocation des outils d'IA :

    Latence d'invocation moyenne en millisecondes pour la version de l'outil.

  • Taux de réussite de l'invocation des outils d'IA :

    Pourcentage d'appels d'outils d'IA qui ont été exécutés avec succès.

  • Précision d'utilisation de l'outil  :

    Taux d'utilisation correcte des outils par l'agent d'IA. La valeur est comprise entre 0 et 1, où 1 indique une utilisation parfaite.

  • Précision de sélection des outils  :

    Taux de sélection d'outils corrects par les agents IA. La valeur est comprise entre 0 et 1, où 1 indique une sélection optimale.

  • Précision des paramètres de l'outil  :

    Taux d'appels d'outils pour lesquels les agents IA ont fourni les bons paramètres. La valeur est comprise entre 0 et 1, où 1 indique une précision parfaite des paramètres.

L'image suivante montre un exemple de tableau d'utilisation des outils d'IA.

Tableau d'utilisation des outils d'IA.

Performances rapides d'IA

Ce tableau fournit une vue détaillée des performances rapides de l'IA. Vous pouvez étendre les lignes de type d'agent AI et de type d'invite pour accéder à des versions d'invite spécifiques. Pour voir comment chaque version contribue aux performances globales des types d'invite, consultez les mesures individuelles pour chaque ligne de version d'invite.

Le tableau affiche les indicateurs de performance à trois niveaux :

  • Niveau de type d'agent IA  :

    Statistiques agrégées pour toutes les invites et versions pour un type d'agent d'IA.

  • Niveau de type d'invite AI  :

    Statistiques agrégées pour toutes les versions d'un type d'invite d'IA spécifique.

  • Niveau de version rapide de l'IA  :

    Des mesures de performance individuelles pour chaque version d'AI prompt.

Statistiques affichées :

  • Nombre d'invocations rapides de l'IA :

    Nombre total de fois que la version rapide de l'IA a été invoquée.

  • Taux de réussite de l'invocation rapide de l'IA :

    Pourcentage d'appels rapides d'IA qui ont été exécutés avec succès.

  • Moyenne. Latence d'invocation rapide de l'IA :

    Latence d'invocation moyenne en millisecondes pour la version AI prompt.

En plus d'utiliser les filtres de page, vous pouvez ajouter des filtres au tableau pour des agents d'IA, des invites d'IA, des plages de temps ou d'autres dimensions spécifiques.

L'image suivante montre un exemple de tableau des performances des rapides d'IA.

Tableau des performances rapides de l'IA.

Tendance en matière d'intentions proactives

Le graphique des tendances des intentions proactives montre les intentions proactives détectées (barres bleues), par rapport au taux d'engagement des intentions proactives (ligne rouge) et au taux de réponse aux intentions proactives (ligne verte) sur une période donnée, ventilée par intervalles (15 minutes, quotidien, hebdomadaire, mensuel). Vous pouvez configurer différents intervalles de plage de temps en utilisant le bouton « Intervalle » directement dans le widget. Les intervalles que vous pouvez sélectionner dépendent du filtre de plage horaire au niveau de la page.

Statistiques affichées :

  • Intentions proactives détectées  :

    Le nombre d'intentions proactives (requêtes des clients) détectées lors des sessions d'IA, pour les cas d'utilisation de l'assistance aux agents.

  • Taux d'engagement des intentions proactives  :

    Pourcentage d'intentions proactives détectées sur lesquelles des agents humains ont cliqué ou ont interagi, pour les cas d'utilisation de l'assistance aux agents.

  • Taux de réponse aux intentions proactives  :

    Pourcentage d'intentions proactives engagées qui ont été réalisées avec succès par les agents IA, pour les cas d'utilisation de l'assistance aux agents.

L'image suivante montre un exemple de graphique des tendances des intentions proactives.

Le graphique des tendances des intentions proactives.

L'IA vous invite par latence d'invocation

Le graphique de latence des invites AI par invocation affiche la latence d'invocation moyenne en millisecondes pour chaque invite AI. Vous pouvez configurer davantage ce widget en filtrant des invites d'IA spécifiques, un type d'invite d'IA, un agent d'IA, un type d'agent d'IA, un cas d'utilisation de l'IA ou d'autres dimensions directement à partir de ce graphique.

L'image suivante montre un exemple d'invite AI par graphique de latence d'invocation.

L'IA invite par graphique de latence d'invocation.

L'IA s'affiche en fonction du taux de réussite des invocations

Le graphique du taux de réussite des demandes d'IA par invocation affiche le taux de réussite des invocations pour chaque invite d'IA. Vous pouvez configurer davantage ce widget en filtrant des invites d'IA spécifiques, un type d'invite d'IA, un agent d'IA, un type d'agent d'IA, un cas d'utilisation de l'IA ou d'autres dimensions directement à partir de ce graphique.

L'image suivante montre un exemple de graphique du taux de réussite des demandes d'IA par invocation.

L'IA vous invite à l'aide d'un graphique du taux de réussite des invocations.