Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Configurar la telemetría del Vercel AI SDK para las evaluaciones AgentCore
En esta página se explica cómo instrumentar un agente del
nota
AgentCore Evaluations solo es compatible con el SDK de Vercel AI para agentes. TypeScript Python no es compatible en este momento.
Temas
TypeScript soporte de agentes
Un agente del SDK de Vercel AI produce intervalos bajo el nombre del alcance. @aws/aws-distro-opentelemetry-instrumentation-vercel-ai
Instrumente a su agente
Instrumente un agente del Vercel AI SDK con el AWS Distro for OpenTelemetry (ADOT). Agregue el paquete de autoinstrumentación AWS Distro Node () a sus dependencias. @aws/aws-distro-opentelemetry-node-autoinstrumentation Incluye la instrumentación Vercel AI integrada, que se activa al inicio y emite el nombre del ámbito. @aws/aws-distro-opentelemetry-instrumentation-vercel-ai
package.json:
{ "dependencies": { "@aws/aws-distro-opentelemetry-node-autoinstrumentation": "^0.12.0" } }
La instrumentación sigue las convenciones semánticas de la OpenTelemetry IA generativa: clasifica los intervalos con atributos y clasifica la conversación en atributos. gen_ai.operation.name gen_ai.*
nota
La instrumentación es un paso para configurar la observabilidad. Para exportar la telemetría para su evaluación, complete la configuración completa en Configurar la observabilidad.
Cómo se identifican los intervalos
La instrumentación de IA de Vercel establece el gen_ai.operation.name atributo en cada tramo. El servicio de evaluación usa este atributo para clasificar los intervalos:
| Tipo de intervalo | Atributo identificativo |
|---|---|
|
Invocar al agente |
|
|
Ejecute la herramienta |
|
|
Inferencia |
|
Cómo se extraen los campos de evaluación
El Vercel AI SDK serializa los mensajes de dos formas, y AgentCore Evaluations lee ambas:
-
En la entrada del agente invocador aparece una forma de dictado de objetos y se extiende por intervalos de inferencia, en los que
gen_ai.input.messagesaparece un objeto JSON con unsystemcampo (la línea de comandos del sistema) y una matriz (por ejemplo,).messages{"system": "…", "messages": [{"role": "user", "content": "…"}]} -
Una forma de lista de piezas en la salida, en la que cada mensaje incluye una
partsmatriz de bloques de contenido escritos (por ejemplo,).[{"role": "assistant", "parts": [{"type": "text", "content": "…"}]}]
AgentCore Las evaluaciones extraen el texto de ambas formas: la solicitud de usuario del último mensaje de usuario de la entrada, la solicitud del sistema del system campo y la respuesta del agente de las partes de texto de la salida.
La instrumentación de inteligencia artificial de Vercel utiliza telemetría unificada, por lo que el contenido de la conversación permanece en el intervalo en forma de atributos:
-
Respuesta del usuario y respuesta del agente: desde
gen_ai.input.messagesy hacia el intervalo del agentegen_ai.output.messagesinvocado. -
Mensaje del sistema: desde el
systemcampo del objeto dictado en.gen_ai.input.messages -
Llamada a la herramienta: el nombre de la herramienta desde
gen_ai.tool.name, los argumentos y el resultado degen_ai.tool.call.argumentsygen_ai.tool.call.result, en el intervalo de herramientas de ejecución.
Para obtener más información, consulte Ejemplos de intervalos de un TypeScript agente.
Ejemplos de intervalos de un agente TypeScript
Con la telemetría unificada, el contenido de la conversación permanece en los atributos del intervalo y no se produce ningún registro de eventos independiente. Los siguientes ejemplos provienen de un agente de planificación de viajes del TypeScript Vercel AI SDK implementado en Amazon Bedrock AgentCore Runtime, utilizando un modelo de Amazon Bedrock.
nota
Estos ejemplos no son tramos completos. Muestran datos representativos de una interacción real con un agente; se omiten algunos campos y se truncan los valores largos para facilitar la lectura.
ejemplo
