Rastreamentos de agentes de IA usando pesquisa de contatos e detalhes de contato

Flow, Lex bot e AI agent invocam e abrangem detalhes junto com a transcrição de autoatendimento. Essa experiência é alimentada pelo Registro de Interação Automatizado. Consulte mais detalhes em Monitore interações automatizadas (IVR) no Connect Customer.

Permissões de Fluxos e Módulos de fluxo - visualizar: essas permissões são necessárias para ver dados específicos do fluxo e do módulo nos logs de interação automatizados.

Análise e otimização - Permissões de transcrições de voz de interação automatizada (IVR) (não editadas): essas permissões são necessárias para acessar registros da interação de IVR, como entradas de teclado em resposta a solicitações de IVR, transcrições de interações de Lex, rastreamentos de agentes de IA e muito mais.

No painel de desempenho do agente de IA: navegue até o widget de desempenho do agente de IA e explore o agente de IA de seu interesse. Isso o redireciona automaticamente para a página de pesquisa de contatos, pré-filtrada para o agente de IA e o intervalo de tempo que você selecionou. Você vê todos os contatos gerenciados por esse agente de IA. Escolha o hiperlink ID do contato para abrir os detalhes do contato.

Da pesquisa de contatos: pesquise um contato diretamente por meio da pesquisa de contatos. Para obter mais informações, consulte Pesquisar contatos concluídos e em andamento.

Pontuação de integridade: essa métrica mede a proporção de sessões em que as respostas dos agentes do Orchestration AI atendem totalmente a todas as partes das solicitações do cliente, em vez de fornecer respostas parciais ou incompletas. O valor está entre 0 e 1, em que 1 indica respostas completas em todas as sessões.

Pontuação de fidelidade: essa métrica mede a proporção de sessões em que as respostas dos agentes do Orchestration AI permanecem fiéis ao contexto conversacional, incluindo mensagens e resultados de chamadas de ferramentas. O valor está entre 0-1, onde 1 indica fidelidade contextual perfeita.

Taxa de sucesso da meta: essa métrica mede a proporção de sessões em que o agente do Orchestration AI resolveu com sucesso os problemas do cliente. O valor está entre 0 e 1, em que 1 indica uma resolução bem-sucedida em todas as sessões.

Precisão na utilização da ferramenta: essa métrica mede a taxa de utilização correta da ferramenta pelos agentes de IA, incluindo a seleção e os parâmetros adequados. O valor está entre 0-1, onde 1 indica uma utilização perfeita.

Escolha o fluxo e os hiperlinks do bloco para abrir o designer de fluxo em uma nova guia, permitindo acompanhar rapidamente seu fluxo.

Selecione Reproduzir para reproduzir o prompt específico em seu arquivo de gravação de áudio.

Identifique rapidamente onde os erros ocorreram, incluindo tempos limite do cliente ou erros de função do Lambda.

O hiperlink redireciona para o bloco Obter entrada do cliente configurado em seu fluxo.

Você pode ver onde as intenções do bot são detectadas e resolvidas, com o status do resultado da ação.

Você pode optar por expandir todos os detalhes do rastreamento usando o ícone (+) e recolher todos os detalhes do rastreamento com o ícone (-). Você também pode atualizar manualmente seus traços.

Escolha uma atividade de invocação do agente de IA para ver os detalhes do rastreamento do agente de IA.

Quando seu agente de IA chama um Prompt (executado por meio de um intervalo de inferência), o agente de IA invoca um LLM por meio do Amazon Bedrock. Os detalhes do rastreamento mostram o raciocínio do modelo e as informações de chamada da ferramenta.

A referência de citação da base de conhecimento está disponível em Prompt (intervalo de inferência) em Detalhes do Span, quando configurada e disponível. Para garantir que suas citações estejam configuradas, consulte Configuração de recuperação da base de conhecimento.

Para cada chamada de ferramenta, você pode visualizar os metadados da ferramenta junto com os parâmetros de entrada passados para a chamada de ferramenta.

A latência de cada período é exibida à direita de cada atividade.

Escolha o agente de IA ou o hiperlink Solicitar para navegar até a página de configuração do agente de IA ou a página de solicitação do agente de IA, respectivamente.

ESC: Significa Escalate. Mostra quando o agente de IA passou para um agente humano.

ERR: Significa Error. Quando o intervalo recebeu um status de erro. Uma descrição do status fornece os detalhes do erro. Isso pode incluir erros como: