View a markdown version of this page

Marcos de agentes compatibles - Amazon Bedrock AgentCore
Cómo lee el servicio una sesiónConfigure la observabilidadEjemplos de agentes

Marcos de agentes compatibles

Amazon Bedrock AgentCore Evaluations evalúa a los agentes creados con marcos de agentes populares. Lo que un agente emite como telemetría y la forma en que se estructura esa telemetría dependen del marco de agentes con el que se cree y de la biblioteca de instrumentación que se utilice para grabarlo.

Para cada marco compatible, en esta sección se describe:

  • Las bibliotecas de instrumentación que puede utilizar.

  • Cómo instrumentar a su agente.

  • Cómo se ven los intervalos y los registros de eventos resultantes.

  • Cómo localiza el servicio de evaluación los valores que necesita, como el mensaje del usuario, la respuesta del agente y las llamadas a las herramientas.

AgentCore Evaluations es compatible con los siguientes marcos y bibliotecas de instrumentación. Solo es compatible con las versiones de Python de estas bibliotecas.

Marco de agentes Biblioteca de instrumentación Nombre del ámbito Versión recomendada

Strands Agents

Built-in (SDK de Strands Agents)

strands.telemetry.tracer

La más reciente

LangGraph

OpenTelemetry (opentelemetry-instrumentation-langchain)

opentelemetry.instrumentation.langchain

>= 0.55.0

LangGraph

OpenInference (openinference-instrumentation-langchain)

openinference.instrumentation.langchain

>= 0.1.62

Agentes de OpenAI

OpenTelemetry (opentelemetry-instrumentation-openai-agents)

opentelemetry.instrumentation.openai_agents

>= 0.61.0

Agentes de OpenAI

OpenInference (openinference-instrumentation-openai-agents)

openinference.instrumentation.openai_agents

>= 1.5.0

LlamaIndex

OpenTelemetry (opentelemetry-instrumentation-llamaindex)

opentelemetry.instrumentation.llamaindex

>= 0.61.0

LlamaIndex

OpenInference (openinference-instrumentation-llama-index)

openinference.instrumentation.llama_index

>= 4.4.1

ADK de Google

OpenInference (openinference-instrumentation-google-adk)

openinference.instrumentation.google_adk

>= 0.1.13

SDK de Claude Agent

OpenInference (openinference-instrumentation-claude-agent-sdk)

openinference.instrumentation.claude_agent_sdk

>= 0.1.3

El nombre del ámbito es el valor del scope.name campo en cada registro de intervalo y evento. El servicio de evaluación lo usa para determinar si puede procesar un intervalo.

Cómo lee el servicio una sesión

Independientemente del marco, el servicio de evaluación reconstruye una sesión a partir de dos señales de telemetría: intervalos y registros de eventos. Clasifica cada intervalo por su tipo y, a continuación, extrae su contenido:

  1. Identifique el tipo de tramo a partir de los atributos específicos del marco. Un intervalo puede ser un intervalo de invocación de un agente (la ejecución del agente de nivel superior), un intervalo de herramientas de ejecución (una sola llamada a una herramienta) o un intervalo de inferencia (una llamada de un solo modelo).

  2. Extraiga los valores relevantes de los atributos de cada intervalo o de su registro de eventos correlacionados. Por ejemplo, el mensaje del usuario proviene del mensaje humano (rol de usuario) que aparece en la entrada del agente, y la respuesta del agente proviene del mensaje de IA (rol de asistente) que aparece en la salida del agente.

Los nombres exactos de los atributos y las ubicaciones del contenido difieren según el marco y la biblioteca de instrumentación. La página de intervalos, registros de eventos y señales de telemetría explica la estructura de los intervalos y los registros de eventos y dónde se encuentra el contenido. Las páginas por marco describen los atributos y los datos de ejemplo de cada marco compatible.

Configure la observabilidad

Instrumentar a su agente es una parte de la producción de telemetría que el servicio de evaluación pueda leer. Antes de que la evaluación funcione de principio a fin, tu agente también debe tener habilitada la observabilidad y exportar sus intervalos y registros de eventos a Amazon. CloudWatch Realice los siguientes pasos:

  1. Activa CloudWatch la búsqueda de transacciones, que es un requisito previo para la evaluación. Consulte Habilitar la AgentCore observabilidad.

  2. Habilite la observabilidad para su agente en función del lugar donde esté alojado:

Ejemplos de agentes

Los siguientes ejemplos muestran a los agentes de Strands alojados fuera de Amazon Bedrock AgentCore Runtime que exportan telemetría a Amazon CloudWatch con ADOT. Se centran en la configuración de la observabilidad más que en la API de evaluación. Las muestras utilizan Strands, pero el mismo patrón de alojamiento y exportación de telemetría se aplica a otros marcos compatibles, como. LangGraph

Temas