Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Monitora gli agenti AI utilizzando CloudWatch
Per ottenere visibilità sui consigli in tempo reale che gli agenti di intelligenza artificiale forniscono ai tuoi agenti e sulle intenzioni dei clienti che rilevano attraverso la comprensione del linguaggio naturale, puoi interrogare CloudWatch i log. CloudWatch I log ti offrono visibilità sull'intero percorso di contatto: conversazione, fattori scatenanti, intenti, raccomandazioni. Puoi anche utilizzare queste informazioni per il debug o fornirle Supporto quando li contatti per chiedere aiuto.
Questo argomento spiega come abilitare la registrazione per gli agenti AI.
Indice
Autorizzazioni IAM richieste
Prima di abilitare la registrazione per un assistente Connect, verifica di disporre delle seguenti AWS Identity and Access Management autorizzazioni. Sono necessarie per l'account utente che ha effettuato l'accesso alla console Connect Customer:
-
wisdom:AllowVendedLogDeliveryForResource: necessario per consentire la consegna dei log per la risorsa assistente.
Per visualizzare un esempio di ruolo IAM con tutte le autorizzazioni richieste per la destinazione della registrazione di log specifica, consulta Registrazione che richiede autorizzazioni aggiuntive [V2]. Questo argomento contiene esempi per diverse destinazioni di registrazione, come i log inviati a CloudWatch Logs e i log inviati ad Amazon S3. Gli esempi mostrano come consentire gli aggiornamenti alla specifica risorsa di destinazione di registrazione.
Abilita la registrazione per gli agenti AI
Per abilitare la registrazione per gli agenti AI, si utilizza l' CloudWatch API. Completa questa procedura:
-
Ottieni l'ARN del tuo assistente (noto anche come dominio ). Dopo aver creato un assistente, puoi ottenerne l'ARN dalla console Connect Customer o chiamando l'GetAssistantAPI. L’ARN segue questo formato:
arn:aws:wisdom:your-region:your-account-id:assistant/assistant-id -
Chiamata PutDeliverySource: utilizza questa CloudWatch API per creare una fonte di consegna per l'assistente. Passa l’ARN dell’assistente come
resourceArn. PerlogType, specificaEVENT_LOGSin modo che raccolga i log presso l’assistente.{ "logType": "EVENT_LOGS", "name": "your-assistant-delivery-source", "resourceArn": "arn:aws:wisdom:your-region:your-account-id:assistant/assistant_id} -
Chiamata PutDeliveryDestination: utilizza questa CloudWatch API per configurare dove devono essere archiviati i log. Puoi scegliere CloudWatch Logs, Amazon S3 o Amazon Data Firehose come destinazione per l'archiviazione dei log. È necessario specificare l’ARN di una delle opzioni di destinazione in cui archiviare i log. È possibile scegliere tra i
outputFormatdei log uno dei seguenti:json,plain,w3c,raw,parquet.L'esempio seguente mostra come configurare i log da archiviare in un gruppo Amazon CloudWatch Logs e in formato JSON.
{ "deliveryDestinationConfiguration": { "destinationResourceArn": "arn:aws:logs:your-region:your-account-id:log-group:your-log-group-name:*" }, "name": "string", "outputFormat": "json", "tags": { "key": "value" } } -
Chiamata CreateDelivery: utilizza questa CloudWatch API per collegare l'origine di consegna alla destinazione di consegna creata nei passaggi precedenti. Questa operazione API associa l’origine di consegna alla destinazione finale.
{ "deliveryDestinationArn": "string", "deliverySourceName": "string", "tags": { "string": "string" } }
L'esempio seguente mostra come eseguire i passaggi precedenti come sequenza di comandi AWS CLI. Questo esempio abilita la registrazione degli eventi per un assistente e invia i log a un gruppo di log di Amazon CloudWatch Logs. Esegui i comandi in ordine e sostituiscili value con i tuoi nomi di risorse e ARN.
-
Crea una fonte di consegna per l'assistente. Utilizza l'ARN dell'assistente come ARN della risorsa e specifica
EVENT_LOGScome tipo di registro.aws logs put-delivery-source \ --nameyour-assistant-delivery-source\ --resource-arn arn:aws:wisdom:your-region:your-account-id:assistant/assistant-id\ --log-type EVENT_LOGS -
Crea una destinazione di consegna che punti al tuo gruppo di log. Per inviare invece i log ad Amazon S3 o Amazon Data Firehose, specifica l'ARN della risorsa.
aws logs put-delivery-destination \ --nameyour-delivery-destination\ --delivery-destination-configuration "destinationResourceArn=arn:aws:logs:your-region:your-account-id:log-group:your-log-group-name" \ --output-format json -
Collega l'origine della consegna alla destinazione della consegna. Usa l'ARN di destinazione restituito dal comando precedente.
aws logs create-delivery \ --delivery-source-nameyour-assistant-delivery-source\ --delivery-destination-arn arn:aws:logs:your-region:your-account-id:delivery-destination:your-delivery-destination
Dopo aver creato la consegna, puoi visualizzare gli eventi registrati nel tuo gruppo di log. Per confermare che la registrazione funzioni, genera l'attività dell'assistente e quindi interroga il gruppo di log come descritto in. Esempi di query comuni per il debug dei log dell’assistente
Tipi di log supportati
Gli agenti AI supportano il seguente tipo di registro:
-
EVENT_LOGS: registri che tengono traccia degli eventi di un assistente Connect durante chiamate, chat, attività ed e-mail.
Controlla le quote CloudWatch dei log
Ti consigliamo di controllare gli endpoint e le quote di Amazon CloudWatch Logs per verificare se esistono quote per effettuare CloudWatch chiamate API relative alla consegna di Logs. Le quote impostano il numero massimo volte in cui è possibile chiamare un’API o creare una risorsa. Il superamento di questo limite comporta la generazione di un errore ServiceQuotaExceededException.
Documentazione degli eventi utilizzando Interactive Handler CloudWatch
Definizioni del tipo di eventi
Nella tabella seguente è descritto ciascun tipo di evento. Tieni presente che diversi tipi di eventi contengono campi diversi. Consulta la sezione Definizione di campo per informazioni dettagliate su ciascun campo.
| EventType | Definizione |
|---|---|
| TRANSCRIPT_CREATE_SESSION | Registrato quando viene creata una nuova sessione di agenti AI. Questo segna l’inizio di una conversazione. |
| TRANSCRIPT_INTENT_TRIGGERING_REFERENCE | Registrato quando viene rilevata una specifica intenzione del cliente nella conversazione, che potrebbe attivare risposte o flussi di lavoro automatici. |
| TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION | Registrato quando viene invocato un modello linguistico di grandi dimensioni (LLM) per generare risposte o elaborare il contenuto della conversazione. Registra gli input e gli output dell’LLM. |
| TRANSCRIPT_QUERY_ASSISTANT | Registrato quando viene richiamato uno dei seguenti agenti AI: AnswerRecommendation,,,, CaseSummarization, EmailGenerativeAnswer. EmailOverview EmailResponse ManualSearch NoteTaking |
| TRANSCRIPT_RECOMMENDATION | Registrato quando il sistema fornisce una raccomandazione a un agente o cliente, che può includere articoli informativi, risposte generate o azioni suggerite. |
| TRANSCRIPT_RESULT_FEEDBACK | Registrato quando viene fornito un feedback sull’utilità o la pertinenza dei risultati di una ricerca o di una query. |
| TRANSCRIPT_SELF_SERVICE_MESSAGE | Registrato quando un cliente interagisce con un agente AI SelfService |
| TRANSCRIPT_SESSION_POLLED | Registrato quando il sistema rileva che un agente è connesso a una sessione (una sessione viene interrogata quando viene effettuata una chiamata GetRecommendations API) |
| TRANSCRIPT_TRIGGER_DETECTION_MODEL_INVOCATION | Registrato quando il modello di rilevamento del trigger viene invocato per determinare se una conversazione presenta degli intenti |
| TRANSCRIPT_UTTERANCE | Registrato quando un messaggio viene inviato da un partecipante alla conversazione, registrando il contenuto effettivo della conversazione. |
| TRANSCRIPT_ORCHESTRATION_MESSAGE | Registrato per ogni fase di un ciclo di orchestrazione, incluso il messaggio iniziale del cliente, le risposte testuali del bot, il ragionamento, le richieste di utilizzo dello strumento e i risultati dello strumento. Acquisisce tutti i dettagli del ragionamento agentico a più turni eseguito da un agente di Orchestration AI. |
| TRANSCRIPT_ORCHESTRATION_ERROR | Registrato quando si verifica un errore durante l'orchestrazione, ad esempio il superamento del numero massimo di iterazioni di orchestrazione, i vincoli di capacità del sistema o un errore generale di orchestrazione. |
| TRANSCRIPT_AI_AGENT_TRACE | Registrato per ogni intervallo di esecuzione durante l'orchestrazione degli agenti AI, acquisendo tracce dettagliate tra cui configurazione LLM, utilizzo dei token, messaggi e risultati della valutazione del guardrail. |
Definizione di campo
La seguente tabella descrive ciascun campo.
| Campo | Definizione |
|---|---|
| ai_agent_id | Identificatore univoco per la risorsa dell'agente AI. |
| assistant_id | Identificatore univoco per la risorsa Connect Assistant. |
| completion | Il testo di completamento non elaborato restituito dall’LLM o generato per il messaggio. |
| connect_user_arn | Nome della risorsa Amazon (ARN) dell’utente Connect che accede alla sessione. |
| event_timestamp | Timestamp Unix (in millisecondi) in cui si è verificato l’evento. |
| event_type | Tipo dell’evento, indicante l’azione o il processo che si è verificato nel sistema. |
| generation_id | Identificatore univoco per una risposta specifica AI-generated. |
| intent | Il testo o la descrizione dell’intento. |
| intent_clicked | Valore booleano che indica se la raccomandazione è stata attivata da un intento cliccato. |
| intent_id | Identificatore univoco per l’intento rilevato. |
| issue_probability | Probabilità numerica (da 0,0 a 1,0) che sia stato rilevato un problema nella conversazione (una probabilità maggiore di 0,5 invocherà la generazione dell’intento) |
| is_recommendation_useful | Valore booleano che indica se l’utente ha trovato utile il risultato. |
| is_valid_trigger | Valore booleano che indica se l’analisi del modello di rilevamento ha prodotto un trigger valido. |
| model_id | Identificatore del modello IA utilizzato per invocare l’LLM. |
| parsed_response | La processed/parsed versione della risposta del modello linguistico, spesso in formato strutturato. |
| prompt | Il prompt di input utilizzato per invocare l’LLM. |
| prompt_type | Tipo di prompt AI utilizzato per l'elaborazione del messaggio o della query. |
| raccomandazione | Il contenuto effettivo del testo della raccomandazione fornito all’utente |
| recommendation_id | Identificatore univoco per la raccomandazione. |
| risposta | Il testo di risposta finale generato per l’utente dopo l’elaborazione. |
| session_event_id | Identificatore univoco per un evento specifico all’interno della sessione. |
| session_event_ids | Elenco di identificatori di eventi di sessione. |
| session_id | Identificatore univoco per la sessione degli agenti AI. |
| session_message_id | Identificatore univoco per un messaggio self-service all’interno di una sessione. |
| session_name | Nome dell’opzione. |
| utterance | Il testo effettivo del messaggio scambiato durante la conversazione. |
| orchestration_id | Identificatore univoco per l'esecuzione dell'orchestrazione. Corrisponde all'ID del messaggio iniziale del cliente che ha attivato l'orchestrazione. |
| orchestration_iteration | Il numero di iterazione all'interno del ciclo di orchestrazione. |
| ai_agent_orchestration_use_case | Il caso d'uso dell'orchestrator, ad esempio o. CONNECT_AGENT_ASSISTANCE CONNECT_SELF_SERVICE |
| partecipante | Il ruolo del partecipante per il messaggio, ad esempio CUSTOMER o. BOT |
| values | JSON-serialized elenco dei valori del messaggio. Ogni voce ha un tipo: text (con un valore di testo), tool_use (con strumentoUseId, toolID, nome e argomenti), tool_result (con strumentoUseId, toolID, nome, valori ed errore) o reasoning (con un valore di testo). |
| guardrail_blocked | Booleano che indica se la risposta è stata bloccata da un guardrail AI. |
| orchestration_error | JSON-serialized dettagli dell'errore contenenti errorMessage e un errorDetails oggetto opzionale (con e). estimatedInputTokens estimatedOutputTokens |
| ampiezza | JSON-serialized mappa dell'oggetto full span. Ogni chiave è snake_case. Le chiavi più importanti includono input_messages (cronologia delle conversazioni inviata al modello), output_messages (messaggi di risposta del modello), guardrail_assessments (elenco dei risultati della valutazione del guardrail conguardrailId,, guardrailName sourceaction, epolicies) e input_messages_truncated ("true"quando i messaggi di input sono stati troncati per soddisfare il limite di 256 KB di record). event_typeTRANSCRIPT_AI_AGENT_TRACEPresente solo quando lo è. |
Esempi di log di assistenti
Di seguito sono riportati alcuni esempi di log eventi diversi per ogni tipo di evento. Fare riferimento alla sezione Definizioni del tipo di eventi per spiegazioni dettagliate su ciascun tipo di evento.
CreateSession
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530173612, "event_type": "TRANSCRIPT_CREATE_SESSION", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "session_name": "nabbccdd-9999-4b23-aaee-112233445566" }
IntentTriggeringReference
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530173623, "event_type": "TRANSCRIPT_INTENT_TRIGGERING_REFERENCE", "intent": "To learn about how to autoscale DynamoDB.", "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
LargeLanguageModelInvocation
Riformulazione della query
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "completion": "<query>The customer is asking for information on how to autoscale DynamoDB.</query>", "event_timestamp": 1729530173645, "event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION", "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef", "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5" "model_id": "us.amazon.nova-lite-v1:0", "parsed_response": "The customer is asking for information on how to autoscale DynamoDB.", "prompt": "{\"anthropic_version\":\"bedrock-2023-05-31\",\"max_tokens\":1024,\"system\":\"You are a...\"}", "prompt_type": "BEDROCK_KB_QUERY_REFORMULATION", "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
Rilevamento dell’intento
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "completion": "no</malice>\n - Step 2. <specific>yes</specific>\n - Step 3. <intent>To learn how to autoscale DynamoDB.</intent>", "event_timestamp": 1729530173645, "event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION", "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef", "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5" "model_id": "us.amazon.nova-lite-v1:0", "parsed_response": "To learn how to autoscale DynamoDB.", "prompt": "{\"anthropic_version\":\"bedrock-2023-05-31\",\"max_tokens\":1024,\"system\":\"You are a...\"}", "prompt_type": "GENERATIVE_INTENT_DETECTION", "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
Generazione di intenti di risposta
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "completion": "{\"citations\":[{\"citation\":{\"generatedResponsePart\":{\"textResponsePart\":{\"span\":{\"end\":1065,\"start\":0},\"text\":\"\\nDynamoDB auto s\"}}}}]}", "event_timestamp": 1729530173645, "event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION", "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef", "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5", "model_id": "us.anthropic.claude-3-7-sonnet-20250219-v1:0", "parsed_response": "DynamoDB auto scaling works by creating CloudWatch alarms that monitor your table's activity. When the...", "prompt": "{\"input\":{\"text\":\"The customer is seeking information on how to autoscale DynamoDB. Key utterance: \\\"How can \"}}", "prompt_type": "BEDROCK_KB_GENERATIVE_ANSWER", "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
Generazione di ricerca manuale
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "completion": "no</malice>\n - Step 2. <specific>yes</specific>\n - Step 3. <intent>To learn how to autoscale DynamoDB.</intent>", "event_timestamp": 1729530173645, "event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION", "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef", "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5", "model_id": "us.anthropic.claude-3-7-sonnet-20250219-v1:0", "parsed_response": "DynamoDB auto scaling works by creating CloudWatch alarms that monitor...", "prompt": "{\"anthropic_version\":\"bedrock-2023-05-31\",\"max_tokens\":1024,\"system\":\"You are a...\"}", "prompt_type": "BEDROCK_KB_GENERATIVE_ANSWER", "session_id": "******************-*****************" }
QueryAssistant
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530173667, "event_type": "TRANSCRIPT_QUERY_ASSISTANT", "recommendation_id": "r0001112-3f4e-4fa5-9111-aabbccddeeff", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
Raccomandazione
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530173656, "event_type": "TRANSCRIPT_RECOMMENDATION", "intent_clicked": 1, "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5", "recommendation_id": "r0001112-3f4e-4fa5-9111-aabbccddeeff", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
ResultFeedback
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530173667, "event_type": "TRANSCRIPT_RESULT_FEEDBACK", "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef", "is_recommendation_useful": 1, "recommendation_id": "r0001112-3f4e-4fa5-9111-aabbccddeeff" }
SelfServiceMessage
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "completion": "{\"citations\":[{\"generatedResponsePart\":{\"textResponsePart\":{\"span\":{\"end\":276,\"start\":0},\"text\":\"To autoscale Amazon DynamoDB...\"}}]}", "event_timestamp": 1729530173678, "event_type": "TRANSCRIPT_SELF_SERVICE_MESSAGE", "model_id": "us.amazon.nova-pro-v1:0", "parsed_response": "To autoscale Amazon DynamoDB, follow these steps:...", "prompt": "{\"input\":{\"text\":\"how to autoscale dynamodb\"},\"retrieveAndGenerateConfiguration\":...}", "prompt_type": "SELF_SERVICE_ANSWER_GENERATION", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "session_message_id": "mdee1234-5678-4eab-9333-ffeebb998877", "utterance": "[Customer] How can I autoscale DyanmoDB?" }
TranscriptSessionPolled
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "connect_user_arn": "arn:aws:connect:us-east-1:204585150770:instance/seaa9988-2233-4f44-8899-abcabcabcabc/agent/agbbccdd-9999-4b23-aaee-112233445566", "event_timestamp": 1729530173623, "event_type": "TRANSCRIPT_SESSION_POLLED", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "session_name": "nabbccdd-9999-4b23-aaee-112233445566" }
TriggerDetectionModelInvocation
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530173634, "event_type": "TRANSCRIPT_TRIGGER_DETECTION_MODEL_INVOCATION", "is_valid_trigger": 1, "issue_probability": "0.87", "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc", "session_event_ids": ["seaa9988-2233-4f44-8899-abcabcabcabc"], "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
Utterance
{ "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530173623, "event_type": "TRANSCRIPT_UTTERANCE", "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "utterance": "[Customer] My laptop won't connect to WiFi after the recent update" }
OrchestrationMessage
Messaggio del cliente
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530173612, "event_type": "TRANSCRIPT_ORCHESTRATION_MESSAGE", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff", "participant": "CUSTOMER", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "session_message_id": "m1234567-abcd-4ef0-9876-aabbccddeeff", "values": "[{\"type\":\"text\",\"value\":\"How do I reset my password?\"}]" }
Risposta via SMS al bot
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530174234, "event_type": "TRANSCRIPT_ORCHESTRATION_MESSAGE", "guardrail_blocked": false, "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff", "orchestration_iteration": 1, "participant": "BOT", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "session_message_id": "mfff1234-5678-4eab-9333-112233445566", "values": "[{\"type\":\"text\",\"value\":\"I can help you reset your password. Let me look up your account.\"}]" }
Utilizzo degli strumenti
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530174500, "event_type": "TRANSCRIPT_ORCHESTRATION_MESSAGE", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff", "orchestration_iteration": 1, "participant": "BOT", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "session_message_id": "maaa2222-3333-4bbb-cccc-ddddeeeeffff", "values": "[{\"type\":\"tool_use\",\"toolUseId\":\"toolu_01ABC\",\"toolId\":\"ResetPassword\",\"name\":\"ResetPassword\",\"arguments\":{\"email\":\"customer@example.com\"}}]" }
Risultato dello strumento
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530175100, "event_type": "TRANSCRIPT_ORCHESTRATION_MESSAGE", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff", "orchestration_iteration": 1, "participant": "BOT", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "session_message_id": "mbbb3333-4444-5ccc-dddd-eeeeffff0000", "values": "[{\"type\":\"tool_result\",\"toolUseId\":\"toolu_01ABC\",\"toolId\":\"ResetPassword\",\"name\":\"ResetPassword\",\"values\":[{\"type\":\"text\",\"value\":\"Password reset email sent successfully.\"}],\"error\":null}]" }
Ragionamento
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530175200, "event_type": "TRANSCRIPT_ORCHESTRATION_MESSAGE", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff", "orchestration_iteration": 1, "participant": "BOT", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "session_message_id": "mccc4444-5555-6ddd-eeee-ffff00001111", "values": "[{\"type\":\"reasoning\",\"value\":\"The password reset was successful. I should inform the customer and ask if they need further help.\"}]" }
OrchestrationError
È stato superato il numero massimo di iterazioni di orchestrazione
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530180000, "event_type": "TRANSCRIPT_ORCHESTRATION_ERROR", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "orchestration_error": "{\"errorMessage\":\"The orchestration exceeded the maximum number of iterations\"}", "orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff", "orchestration_iteration": 9, "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
Vincoli di capacità del sistema
{ "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE", "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530180000, "event_type": "TRANSCRIPT_ORCHESTRATION_ERROR", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "orchestration_error": "{\"errorMessage\":\"System capacity is constrained. We are actively working on scaling system to prevent such failures.\",\"errorDetails\":{\"estimatedInputTokens\":50000,\"estimatedOutputTokens\":2048}}", "orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff", "orchestration_iteration": 3, "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa" }
AIAgentTrace
Intervallo di orchestrazione riuscito (nessun intervento di guardrail)
{ "timestamp": 1729530173612, "resource_arn": "arn:aws:wisdom:us-east-1:204585150770:assistant/a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530175612, "event_type": "TRANSCRIPT_AI_AGENT_TRACE", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "span": { "span_id": "7a3f2b1c-4d5e-6f7a-8b9c-0d1e2f3a4b5c", "parent_span_id": "eb06e7cf-c3ba-4e75-86ef-ba761fd0ee30", "span_name": "inference", "span_type": "CLIENT", "start_timestamp": "1729530173612", "end_timestamp": "1729530175612", "status": "OK", "operation_name": "inference", "provider_name": "aws.bedrock", "session_name": "nabbccdd-9999-4b23-aaee-112233445566", "ai_agent_arn": "arn:aws:wisdom:us-east-1:204585150770:ai-agent/ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_type": "ANSWER_RECOMMENDATION", "ai_agent_name": "MyAgent", "ai_agent_version": "3", "ai_agent_orchestrator_use_case": "Connect.AgentAssistance", "request_model": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "request_max_tokens": "4096", "temperature": "1.0", "response_finish_reasons": "[\"end_turn\"]", "usage_input_tokens": "5274", "usage_output_tokens": "266", "usage_total_tokens": "5540", "cache_read_input_tokens": "4800", "cache_write_input_tokens": "0", "prompt_arn": "arn:aws:wisdom:us-east-1:204585150770:ai-prompt/prompt-abc:2", "prompt_id": "prompt-abc", "prompt_type": "ORCHESTRATION", "prompt_name": "Agent Assistance Orchestration", "prompt_version": "2", "time_to_first_token_ms": "850", "input_messages": "[{\"messageId\":\"msg-1\",\"participant\":\"CUSTOMER\",\"timestamp\":1729530173000,\"values\":[{\"text\":{\"value\":\"How can I autoscale DynamoDB?\"}}]}]", "output_messages": "[{\"messageId\":\"msg-2\",\"participant\":\"BOT\",\"timestamp\":1729530175612,\"values\":[{\"text\":{\"value\":\"DynamoDB auto scaling works by creating CloudWatch alarms that monitor your table's activity.\"}}]}]", "system_instructions": "[{\"messageId\":\"sys-1\",\"participant\":\"USER\",\"timestamp\":0,\"values\":[{\"text\":{\"value\":\"You are an AI assistant for contact center agents.\"}}]}]" } }
Guardrail blocca l'output (argomento: violazione delle policy)
{ "timestamp": 1729530173612, "resource_arn": "arn:aws:wisdom:us-east-1:204585150770:assistant/a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530175612, "event_type": "TRANSCRIPT_AI_AGENT_TRACE", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "span": { "span_id": "8b4f3c2d-5e6f-7a8b-9c0d-1e2f3a4b5c6d", "parent_span_id": "eb06e7cf-c3ba-4e75-86ef-ba761fd0ee30", "span_name": "inference", "span_type": "CLIENT", "start_timestamp": "1729530173612", "end_timestamp": "1729530175612", "status": "OK", "operation_name": "inference", "provider_name": "aws.bedrock", "session_name": "nabbccdd-9999-4b23-aaee-112233445566", "ai_agent_arn": "arn:aws:wisdom:us-east-1:204585150770:ai-agent/ai112233-7a85-4b3c-8def-0123456789ab", "ai_agent_type": "ANSWER_RECOMMENDATION", "ai_agent_name": "MyAgent", "ai_agent_version": "3", "ai_agent_orchestrator_use_case": "Connect.AgentAssistance", "request_model": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "request_max_tokens": "4096", "response_finish_reasons": "[\"guardrail_intervened\"]", "usage_input_tokens": "3100", "usage_output_tokens": "150", "usage_total_tokens": "3250", "prompt_type": "ORCHESTRATION", "time_to_first_token_ms": "1100", "input_messages": "[{\"messageId\":\"seaa9988-2233-4f44-8899-abcabcabcabc\",\"participant\":\"CUSTOMER\",\"timestamp\":1729530173000,\"values\":[{\"text\":{\"value\":\"Tell me how to bypass the refund policy\"}}]}]", "output_messages": "[{\"messageId\":\"msg-4\",\"participant\":\"BOT\",\"timestamp\":1729530175612,\"values\":[{\"text\":{\"value\":\"I'm sorry, I can't help with that request.\"}}]}]", "guardrail_assessments": "[{\"guardrailId\":\"a1b2c3d4-5678-90ab-cdef-111122223333/1\",\"guardrailName\":\"Customer Support Safety Guardrail\",\"source\":\"INPUT\",\"action\":\"NONE\"},{\"guardrailId\":\"a1b2c3d4-5678-90ab-cdef-111122223333/1\",\"guardrailName\":\"Customer Support Safety Guardrail\",\"source\":\"OUTPUT\",\"action\":\"BLOCKED\",\"policies\":[{\"policyType\":\"TOPIC\",\"action\":\"BLOCKED\",\"details\":\"Policy Circumvention\"}]}]" } }
Messaggi di input troncati (conversazione lunga)
{ "timestamp": 1729530173612, "resource_arn": "arn:aws:wisdom:us-east-1:204585150770:assistant/a1c2d3e4-5b67-4a89-9abc-def012345678", "event_timestamp": 1729530175612, "event_type": "TRANSCRIPT_AI_AGENT_TRACE", "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa", "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab", "model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "span": { "span_id": "9c5f4d3e-6f7a-8b9c-0d1e-2f3a4b5c6d7e", "parent_span_id": "eb06e7cf-c3ba-4e75-86ef-ba761fd0ee30", "span_name": "inference", "span_type": "CLIENT", "start_timestamp": "1729530173612", "end_timestamp": "1729530175612", "status": "OK", "operation_name": "inference", "provider_name": "aws.bedrock", "session_name": "nabbccdd-9999-4b23-aaee-112233445566", "request_model": "us.anthropic.claude-4-5-sonnet-20250929-v1:0", "response_finish_reasons": "[\"end_turn\"]", "usage_input_tokens": "48000", "usage_output_tokens": "500", "usage_total_tokens": "48500", "input_messages": "[{\"messageId\":\"msg-98\",\"participant\":\"CUSTOMER\",\"timestamp\":1729530173000,\"values\":[{\"text\":{\"value\":\"What about the shipping timeline?\"}}]}]", "input_messages_truncated": "true", "output_messages": "[{\"messageId\":\"msg-99\",\"participant\":\"BOT\",\"timestamp\":1729530175612,\"values\":[{\"text\":{\"value\":\"Based on your location, delivery takes 3-5 business days after shipping.\"}}]}]", "guardrail_assessments": "[{\"guardrailId\":\"a1b2c3d4-5678-90ab-cdef-111122223333/1\",\"guardrailName\":\"Customer Support Safety Guardrail\",\"source\":\"INPUT\",\"action\":\"NONE\"},{\"guardrailId\":\"a1b2c3d4-5678-90ab-cdef-111122223333/1\",\"guardrailName\":\"Customer Support Safety Guardrail\",\"source\":\"OUTPUT\",\"action\":\"NONE\"}]" } }
Esempi di query comuni per il debug dei log dell’assistente
È possibile interagire con i log utilizzando le query. Ad esempio, è possibile eseguire una query per tutti gli eventi all’interno di una sessione utilizzando SESSION_NAME.
Di seguito sono riportate due query comuni per restituire tutti i log generati per una sessione specifica.
-
filter session_name = "SessionName" -
filter session_id = "SessionId"
