As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Painel de desempenho do AI Agent
Você pode usar o painel de desempenho do AI Agent para visualizar o desempenho do AI Agent e obter insights sobre os agentes de IA e ao longo do tempo.
O painel fornece um único local para visualizar o desempenho agregado do AI Agent. Use o painel para visualizar as métricas de seus agentes de IA, como contagem de invocações, latência e taxa de sucesso.
Habilitar o acesso ao painel
Os usuários devem ter as permissões de perfil de segurança apropriadas:
Métricas de acesso - Permissão de acesso ou o Painel - Permissão de acesso. Para obter informações sobre a diferença de comportamento, consulte Atribua permissões para visualizar painéis e relatórios no Connect Customer.
Pelo menos uma das seguintes permissões de perfil de segurança é necessária para acessar o painel de desempenho do AI Agent:
-
Designer de agente de IA — permissão de visualização do agente de IA
-
Designer de agentes de IA — permissão de visualização imediata de IA
-
Designer de agentes de IA — Permissão de visualização de barreiras de inteligência artificial
-
Aplicativos do agente — Permissão de visualização do Connect Assistant
O painel está disponível em: Análise e otimização > Painéis de análise > Desempenho do agente de IA.
Especificar o “intervalo de tempo” e o ponto de referência “Comparar com”
Use o filtro de intervalo de tempo para especificar a data e o período para os quais você deseja visualizar os dados no painel.
Por padrão, o painel exibe dados da última semana. Você pode personalizar o intervalo de tempo para visualizar dados tão recentes quanto os últimos 15 minutos ou até 3 meses no histórico.
Use o filtro Comparar para selecionar um período de tempo com o qual comparar seus dados atuais. Com o filtro Comparar para, você pode identificar tendências e acompanhar melhorias ou problemas ao longo do tempo.
Self-service Resumo do desempenho da IA
Esta seção mostra a integridade de suas Self-Service interações AI-Agent iniciadas. Ele exibe as seguintes métricas principais para o período selecionado, filtradas pelo caso de uso de “autoatendimento”:
-
Contatos envolvidos pela IA:
Contagem total de contatos tratados quando agentes de IA resolveram consultas de clientes sem envolver agentes humanos.
-
Agentes ativos de IA:
O número total de agentes de IA exclusivos, em que cada agente é identificado por sua combinação exclusiva de nome e versão.
-
Taxa de conclusão da resposta:
A porcentagem de sessões de agentes de IA que tiveram sucesso em responder às solicitações recebidas.
-
Taxa de transferência:
Porcentagem de contatos de autoatendimento atendidos por agentes de IA que foram marcados por precisarem de suporte adicional, incluindo, mas não se limitando a, agentes humanos.
-
Taxa de sucesso da meta:
A proporção de sessões em que os agentes de IA resolveram com sucesso os problemas dos clientes. O valor está entre 0 e 1, em que 1 indica uma resolução bem-sucedida em todas as sessões.
-
Pontuação de fidelidade:
A proporção de respostas dos agentes de IA que permanecem fiéis ao contexto conversacional, incluindo mensagens e resultados de chamadas de ferramentas. O valor está entre 0-1, onde 1 indica fidelidade contextual perfeita.
A imagem a seguir mostra um exemplo de gráfico de resumo do desempenho da Self-service IA.
Resumo do desempenho da IA de assistência ao agente
Esse widget mostra a saúde de suas interações assistidas por agentes, nas quais a IA fornece suporte a agentes humanos. Ele exibe as seguintes métricas principais para o período selecionado, filtradas pelo caso de uso de “Assistência do agente”.
-
Contatos envolvidos pela IA:
Número total de contatos em que agentes de IA ajudaram agentes humanos a resolver dúvidas de clientes.
-
Agentes ativos de IA:
O número total de agentes de IA exclusivos, em que cada agente é identificado por sua combinação exclusiva de nome e versão.
-
Taxa de conclusão da resposta:
A porcentagem de sessões de agentes de IA que tiveram sucesso em responder às solicitações recebidas.
-
Taxa proativa de engajamento intencional:
Porcentagem de intenções proativas detectadas clicadas por agentes humanos.
-
Pontuação de fidelidade:
A proporção de respostas dos agentes de IA que permanecem fiéis ao contexto conversacional, incluindo mensagens e resultados de chamadas de ferramentas. O valor está entre 0-1, onde 1 indica fidelidade contextual perfeita.
A imagem a seguir mostra um exemplo de gráfico resumido do desempenho da IA de assistência ao agente.
Desempenho dos agentes de IA
Esta tabela fornece uma visão detalhada do desempenho dos agentes de IA, desde o caso de uso até as versões individuais do agente, e suas principais métricas de desempenho.
A tabela exibe métricas de desempenho em dois níveis:
-
Nível de caso de uso de IA:
Métricas agregadas em todas as versões do agente em um caso de uso (autoatendimento ao cliente final, assistência do agente).
-
Nível de versão do agente de IA:
Métricas de desempenho individuais para cada versão do agente.
Você pode expandir ou reduzir as linhas de casos de uso para detalhar versões específicas do agente. Para ver como cada versão contribui para o desempenho geral do caso de uso, veja as métricas individuais de cada linha de versão do agente.
Métricas exibidas:
-
Contagem de invocações de agentes de IA:
Número total de vezes que a versão do agente de IA foi invocada.
-
Taxa de sucesso de invocação de agentes de IA:
Porcentagem de invocações de agentes de IA que foram executadas com sucesso.
-
Avg. A conversa com agentes de IA se transforma em:
Número médio de turnos de conversa que o agente de IA realizou para alcançar um resultado.
-
Resposta útil:
A contagem de sugestões de IA classificadas como úteis com um sinal positivo.
-
Resposta inútil:
A contagem de sugestões de IA classificadas como inúteis com o polegar para baixo.
-
Precisão de uso da ferramenta:
A taxa de uso correto da ferramenta pelo agente de IA. O valor está entre 0-1, onde 1 indica uso perfeito.
-
Precisão na seleção da ferramenta:
A taxa de seleção correta de ferramentas pelos agentes de IA. O valor está entre 0-1, onde 1 indica a seleção ideal.
-
Precisão dos parâmetros da ferramenta:
A taxa de invocações de ferramentas em que os agentes de IA forneceram os parâmetros corretos. O valor está entre 0-1, onde 1 indica precisão perfeita do parâmetro.
A imagem a seguir mostra um exemplo de tabela de desempenho dos agentes de IA.
Agentes de IA por taxa de sucesso de invocação
O gráfico de taxa de sucesso de agentes de IA por invocação exibe a taxa de sucesso de invocação de cada agente de IA. Você pode configurar ainda mais esse widget filtrando por agentes de IA específicos, tipo de agente de IA, caso de uso de IA ou outras dimensões diretamente desse gráfico.
A imagem a seguir mostra um exemplo de gráfico de taxa de sucesso de invocação de agentes de IA.
Uso da base de conhecimento
Esta tabela fornece uma visão detalhada dos artigos da base de conhecimento referenciados por seus agentes de IA. Você pode expandir por tipo de agente de IA e linhas de agentes de IA para detalhar o nome específico da base de conhecimento e ver quantas vezes uma base de conhecimento foi referenciada por agentes de IA.
Métricas exibidas:
-
Contagem de referências — Número de vezes que o artigo foi referenciado por agentes de IA.
A imagem a seguir mostra um exemplo de tabela de uso da base de conhecimento.
Tendência de desempenho de agentes de IA
A tendência de desempenho do agente de IA é um gráfico de séries temporais que exibe a taxa de sucesso da invocação do agente de IA (barras azuis), a pontuação de fidelidade (linha vermelha) e a precisão do uso da ferramenta (linha verde) em um determinado período, divididos por intervalos (15 minutos, diariamente, semanalmente, mensalmente). Você pode configurar diferentes intervalos de tempo usando o botão “Intervalo” diretamente no widget. Os intervalos que você pode selecionar dependem do filtro de intervalo de tempo no nível da página.
Por exemplo:
-
Se você selecionar o filtro de intervalo de tempo “Hoje” em seu painel, só poderá ver um intervalo de 15 minutos nas últimas 24 horas.
-
Se você selecionar o filtro de intervalo de tempo “Dia” em seu painel, poderá ver uma tendência de intervalo final de 8 dias ou uma tendência de intervalo de 15 minutos para as últimas 24 horas.
-
Se você selecionar o filtro de intervalo de tempo “Semana” em seu painel, poderá ver as tendências dos intervalos diários ou semanais.
-
Se você selecionar o filtro de intervalo de tempo “Mês” em seu painel, poderá ver as tendências do intervalo diário ou mensal.
A imagem a seguir mostra um exemplo de gráfico de tendências de desempenho de agentes de IA.
Uso de ferramentas de IA
Esta tabela compara implementações de ferramentas (por exemplo, MCP - Model Context Protocol Return-to-Control) em invocações, latência média e taxa de sucesso de invocação e precisão de uso da ferramenta.
Por exemplo, você pode selecionar um tipo de agente de IA (como orquestração ou recomendação de resposta) e ver o desempenho de diferentes ferramentas e suas versões dentro desse tipo de agente. Você pode identificar quais versões de ferramentas precisam de otimização classificando as colunas usando a contagem de invocações de ferramentas de IA, a taxa de sucesso de invocação de ferramentas de IA ou a média. Latência de invocação de ferramentas de IA.
A tabela exibe métricas de desempenho em três níveis:
-
Nível do tipo de agente de IA:
Métricas agregadas em todas as ferramentas e versões dentro de um tipo de agente.
-
Nível do tipo de ferramenta de IA:
Métricas agregadas em todas as versões de um tipo específico de ferramenta.
-
Ferramenta de IA:
Métricas de desempenho individuais para cada versão da ferramenta.
Você pode expandir ou reduzir as linhas do tipo de agente de IA e do tipo de ferramenta para detalhar versões específicas da ferramenta. Para ver como cada versão contribui para o desempenho geral do tipo de ferramenta, veja as métricas individuais de cada linha da versão da ferramenta.
Métricas exibidas:
-
Contagem de invocações de ferramentas de IA:
Número total de vezes que a versão da ferramenta de IA foi invocada.
-
Avg. Latência de invocação de ferramentas de IA:
Latência média de invocação em milissegundos para a versão da ferramenta.
-
Taxa de sucesso de invocação de ferramentas de IA:
Porcentagem de invocações de ferramentas de IA que foram executadas com sucesso.
-
Precisão de uso da ferramenta:
A taxa de uso correto da ferramenta pelo agente de IA. O valor está entre 0-1, onde 1 indica uso perfeito.
-
Precisão na seleção da ferramenta:
A taxa de seleção correta de ferramentas pelos agentes de IA. O valor está entre 0-1, onde 1 indica a seleção ideal.
-
Precisão dos parâmetros da ferramenta:
A taxa de invocações de ferramentas em que os agentes de IA forneceram os parâmetros corretos. O valor está entre 0-1, onde 1 indica precisão perfeita do parâmetro.
A imagem a seguir mostra um exemplo de tabela de uso de ferramentas de IA.
Desempenho imediato da IA
Esta tabela fornece uma visão detalhada do desempenho dos prompts de IA. Você pode expandir as linhas do tipo de agente de IA e do tipo de solicitação para detalhar versões específicas de solicitações. Para ver como cada versão contribui para o desempenho geral do tipo de solicitação, veja as métricas individuais de cada linha da versão de solicitação.
A tabela exibe métricas de desempenho em três níveis:
-
Nível do tipo de agente de IA:
Métricas agregadas em todas as solicitações e versões de um tipo de agente de IA.
-
Nível do tipo de prompt de IA:
Métricas agregadas em todas as versões de um tipo específico de prompt de IA.
-
Nível de versão do prompt de IA:
Métricas de desempenho individuais para cada versão do prompt de IA.
Métricas exibidas:
-
Contagem de invocações imediatas de IA:
Número total de vezes que a versão do prompt de IA foi invocada.
-
Taxa de sucesso de invocação rápida de IA:
Porcentagem de invocações de prompts de IA que foram executadas com sucesso.
-
Avg. Latência de invocação do prompt de IA:
Latência média de invocação em milissegundos para a versão de prompt de IA.
Além de usar os filtros de página, você pode adicionar filtros à tabela para agentes de IA específicos, solicitações de IA, intervalos de tempo ou outras dimensões.
A imagem a seguir mostra um exemplo de tabela de desempenho de prompts de IA.
Tendência de intenções proativas
O gráfico de tendências de intenções proativas mostra as intenções proativas detectadas (barras azuis), em comparação com a taxa de engajamento com intenção proativa (linha vermelha) e a taxa de resposta à intenção proativa (linha verde) em um determinado período de tempo, divididas por intervalos (15 minutos, diariamente, semanalmente, mensalmente). Você pode configurar diferentes intervalos de tempo usando o botão “Intervalo” diretamente no widget. Os intervalos que você pode selecionar dependem do filtro de intervalo de tempo no nível da página.
Métricas exibidas:
-
Intenções proativas detectadas:
O número de intenções proativas (consultas de clientes) detectadas durante as sessões de IA, para casos de uso do Agent Assistance.
-
Taxa proativa de engajamento intencional:
A porcentagem de intenções proativas detectadas que foram clicadas ou utilizadas por agentes humanos, para casos de uso da Assistência do Agente.
-
Taxa de resposta proativa à intenção:
A porcentagem de intenções proativas engajadas que foram cumpridas com sucesso por agentes de IA, para casos de uso de assistência de agentes.
A imagem a seguir mostra um exemplo de gráfico de tendências de intenções proativas.
A IA solicita por latência de invocação
O gráfico de latência de solicitações de IA por invocação exibe a latência média de invocação em milissegundos para cada solicitação de IA. Você pode configurar ainda mais esse widget filtrando solicitações de IA específicas, tipo de solicitação de IA, agente de IA, tipo de agente de IA, caso de uso de IA ou outras dimensões diretamente desse gráfico.
A imagem a seguir mostra um exemplo de solicitação de IA por gráfico de latência de invocação.
A IA solicita por taxa de sucesso de invocação
O gráfico de taxa de sucesso de solicitações de IA por invocação exibe a taxa de sucesso de invocação para cada solicitação de IA. Você pode configurar ainda mais esse widget filtrando solicitações de IA específicas, tipo de solicitação de IA, agente de IA, tipo de agente de IA, caso de uso de IA ou outras dimensões diretamente desse gráfico.
A imagem a seguir mostra um exemplo de gráfico de taxa de sucesso de invocação de solicitações de IA.
