View a markdown version of this page

Intervalli, registrazioni degli eventi e segnali di telemetria - Amazon Bedrock AgentCore
In che modo ADOT suddivide la telemetriaDove vengono archiviati gli span e i record degli eventiDove il servizio legge i contenutiRiferimenti

Intervalli, registrazioni degli eventi e segnali di telemetria

Amazon Bedrock AgentCore Evaluations elabora due segnali di telemetria per comprendere il comportamento del tuo agente:

  • Gli intervalli descrivono le singole operazioni. Uno span contiene i metadati relativi a un'operazione: nome, ambito, timestamp e attributi. Uno span potrebbe anche contenere il contenuto della conversazione, oppure quel contenuto potrebbe risiedere in un record di eventi separato.

  • I record degli eventi contengono il contenuto del payload in un body campo: gli input e gli output dei modelli, degli strumenti e dell'agente. Un record di eventi è correlato alla sua estensione da un e condiviso. traceId spanId I registri degli eventi seguono la convenzione OpenTelemetry sugli eventi. Per ulteriori informazioni, consulta Riferimenti.

Per valutare una sessione, il servizio necessita sia degli intervalli che, ove applicabile, dei relativi record degli eventi correlati. Per ogni intervallo, il servizio esegue le seguenti operazioni:

  1. Identifica il tipo dello span in base agli attributi specifici del framework. Per i dettagli, consulta le pagine relative ai singoli framework.

  2. Legge i valori di cui ha bisogno, come il prompt dell'utente, la risposta dell'agente e gli input e gli output dello strumento. Questi valori provengono dagli attributi dello span o dal relativo record di eventi correlato.

Argomenti

In che modo ADOT suddivide la telemetria

Quando il tuo agente utilizza AWS Distro for OpenTelemetry (ADOT), la telemetria viene suddivisa. Man mano che gli intervalli vengono esportati, ADOT estrae l'ampio contenuto della conversazione (istruzioni e completamenti del modello, input e output degli strumenti) dagli attributi span e lo emette come record di eventi separati. L'intervallo risultante contiene solo metadati e piccoli attributi.

Questa suddivisione mantiene piccoli i documenti span, sebbene conservi l'intero contenuto della conversazione nei registri degli eventi.

                          ADOT collection (split)

   Instrumented agent
          |
          |  span with attributes + content
          v
   +--------------------+
   |       ADOT         |  extracts conversation content
   +--------------------+
          |                          |
          | span                     | event record(s)
          | (metadata, attributes)   | (body: input / output messages)
          v                          v
   +--------------------+   +-----------------------+
   |  aws/spans         |   |  event-record         |
   |  log group         |   |  log group            |
   +--------------------+   +-----------------------+
          |                          |
          +-----------+--------------+
                      v
            Evaluation service
       (joins span + event record by traceId / spanId)

Dopo la suddivisione, il contenuto della conversazione risiede nel record dell'evento body (ad esempio, body.input.messages andbody.output.messages) e lo span contiene gli attributi identificativi utilizzati per classificarlo.

Dove vengono archiviati gli span e i record degli eventi

Quando ADOT raccoglie dati di telemetria, esporta gli intervalli e i record degli eventi su Amazon CloudWatch, ma in luoghi diversi.

  • Gli intervalli vengono memorizzati nel gruppo di log. aws/spans Questo gruppo di log viene creato quando Transaction Search è abilitata, che è un prerequisito per la valutazione. Per i dettagli sull'abilitazione della ricerca delle transazioni, vedere AgentCore Observability.

  • I record degli eventi vengono archiviati in un gruppo di log che dipende da dove è ospitato l'agente:

    • Su Amazon Bedrock AgentCore Runtime: il Runtime emette i record degli eventi nel suo gruppo di log/aws/bedrock-agentcore/runtimes/<agent_id>-<endpoint_name>, nel flusso di otel-rt-logs log, e configura questa esportazione per te.

    • Ospitato all'esterno AgentCore di Runtime (ad esempio, su Amazon Elastic Container Service (Amazon ECS), Amazon Elastic Kubernetes Service (Amazon EKS) o Lambda) AWS : il tuo agente emette record di eventi al gruppo di log che configuri tramite la variabile di ambiente. OTEL_EXPORTER_OTLP_LOGS_HEADERS

Per valutare una sessione, il servizio legge gli intervalli aws/spans e li unisce ai relativi record di eventi correlati dal gruppo di log appropriato.

Dove il servizio legge i contenuti

I contenuti delle conversazioni possono risiedere in luoghi diversi, a seconda del framework e della libreria di strumentazione. Il servizio di valutazione lo legge da qualsiasi luogo lo contenga:

  • Corpo del record dell'evento: quando ADOT divide il contenuto in un record di eventi separato (descritto sopra), il servizio lo legge dal record body dell'evento correlato all'intervallo.

  • Attributi Span: alcune librerie di strumentazione mantengono il contenuto dello span come attributi.

  • Eventi inline span: alcune librerie di strumentazione allegano il contenuto allo span come eventi in linea.

Gli attributi identificativi utilizzati per classificare uno span rimangono sempre sullo span in ogni caso. Ciò include l'attributo che contrassegna uno span come invoke agent span o come execute tool span. Differisce solo la posizione del contenuto più ampio della conversazione. Le pagine per framework elencano sia gli attributi identificativi che le posizioni dei contenuti per ciascuna libreria di strumentazione.

Riferimenti

Queste OpenTelemetry specifiche descrivono le convenzioni su cui si basa Evaluations: AgentCore