As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Configurar a telemetria do Vercel AI SDK para avaliações AgentCore
Esta página explica como instrumentar um agente
nota
AgentCore As avaliações oferecem suporte ao Vercel AI SDK somente para TypeScript agentes. O Python não é suportado no momento.
Tópicos
TypeScript suporte de agentes
Um agente do Vercel AI SDK produz extensões sob o nome do escopo. @aws/aws-distro-opentelemetry-instrumentation-vercel-ai
Instrumente seu agente
Instrumente um agente Vercel AI SDK com o AWS Distro for OpenTelemetry (ADOT). Adicione o pacote de autoinstrumentação do AWS Distro Node (@aws/aws-distro-opentelemetry-node-autoinstrumentation) às suas dependências. Ele inclui a instrumentação integrada do Vercel AI, que é ativada na inicialização e emite o nome do escopo. @aws/aws-distro-opentelemetry-instrumentation-vercel-ai
package.json:
{ "dependencies": { "@aws/aws-distro-opentelemetry-node-autoinstrumentation": "^0.12.0" } }
A instrumentação segue as convenções semânticas da OpenTelemetry IA generativa: ela classifica as extensões e conduz a conversa em atributos. gen_ai.operation.name gen_ai.*
nota
A instrumentação é uma etapa na configuração da observabilidade. Para exportar a telemetria para avaliação, conclua a configuração completa em Configurar observabilidade.
Como os intervalos são identificados
A instrumentação de IA da Vercel define o gen_ai.operation.name atributo em cada extensão. O serviço de avaliação usa esse atributo para classificar extensões:
| Tipo de extensão | Atributo de identificação |
|---|---|
|
Invoque o agente |
|
|
Ferramenta de execução |
|
|
Inferência |
|
Como os campos de avaliação são extraídos
O Vercel AI SDK serializa as mensagens em duas formas, e o AgentCore Evaluations lê as duas:
-
Uma forma de ditado de objeto na entrada do agente de invocação e dos intervalos de inferência, na qual
gen_ai.input.messageshá um objeto JSON com umsystemcampo (o prompt do sistema) e umamessagesmatriz (por exemplo,).{"system": "…", "messages": [{"role": "user", "content": "…"}]} -
Uma forma de lista de partes na saída, na qual cada mensagem carrega uma
partsmatriz de blocos de conteúdo digitado (por exemplo,).[{"role": "assistant", "parts": [{"type": "text", "content": "…"}]}]
AgentCore As avaliações retiram o texto das duas formas: a solicitação do usuário da última mensagem do usuário na entrada, a solicitação do sistema do system campo e a resposta do agente das partes do texto da saída.
A instrumentação de IA da Vercel usa telemetria unificada, para que o conteúdo da conversa permaneça no espaço como atributos:
-
Solicitação do usuário e resposta do agente: de
gen_ai.input.messagesegen_ai.output.messagespara o intervalo do agente de invocação. -
Prompt do sistema: do
systemcampo do ditado do objeto em.gen_ai.input.messages -
Chamada de ferramenta: o nome da ferramenta
gen_ai.tool.name, os argumentos e o resultado degen_ai.tool.call.argumentsegen_ai.tool.call.result, no intervalo da ferramenta de execução.
Para obter mais informações, consulte Exemplos de períodos de um TypeScript agente.
Exemplos de períodos de um agente TypeScript
Com a telemetria unificada, o conteúdo da conversa permanece nos atributos de amplitude e nenhum registro de evento separado é produzido. Os exemplos a seguir são de um agente de planejamento de viagens do TypeScript Vercel AI SDK implantado no Amazon Bedrock AgentCore Runtime, usando um modelo Amazon Bedrock.
nota
Esses exemplos não são extensões completas. Eles mostram dados representativos de uma interação real do agente, com alguns campos omitidos e valores longos truncados para facilitar a leitura.
exemplo
