View a markdown version of this page

Estruturas de agentes compatíveis - Amazon Bedrock AgentCore
Como o serviço lê uma sessãoConfigurar a observabilidadeAgentes de amostra

Estruturas de agentes compatíveis

O Amazon Bedrock AgentCore Evaluations avalia agentes criados com estruturas de agentes populares. O que um agente emite como telemetria e como essa telemetria é estruturada dependem da estrutura do agente com a qual você cria e da biblioteca de instrumentação usada para registrá-la.

Para cada estrutura suportada, esta seção descreve:

  • As bibliotecas de instrumentação que você pode usar.

  • Como instrumentar seu agente.

  • Qual é a aparência dos períodos e registros de eventos resultantes.

  • Como o serviço de avaliação localiza os valores de que precisa, como o prompt do usuário, a resposta do agente e as chamadas da ferramenta.

AgentCore As avaliações oferecem suporte às seguintes estruturas e bibliotecas de instrumentação. Ele suporta somente as versões em Python dessas bibliotecas.

Estrutura do agente Biblioteca de instrumentação Nome do escopo Versão recomendada

Strands Agents

Built-in (SDK do Strands Agents)

strands.telemetry.tracer

Mais recente

LangGraph

OpenTelemetry (opentelemetry-instrumentation-langchain)

opentelemetry.instrumentation.langchain

>= 0.55.0

LangGraph

OpenInference (openinference-instrumentation-langchain)

openinference.instrumentation.langchain

>= 0.1.62

Agentes OpenAI

OpenTelemetry (opentelemetry-instrumentation-openai-agents)

opentelemetry.instrumentation.openai_agents

>= 0.61.0

Agentes OpenAI

OpenInference (openinference-instrumentation-openai-agents)

openinference.instrumentation.openai_agents

>= 1.5.0

LlamaIndex

OpenTelemetry (opentelemetry-instrumentation-llamaindex)

opentelemetry.instrumentation.llamaindex

>= 0.61.0

LlamaIndex

OpenInference (openinference-instrumentation-llama-index)

openinference.instrumentation.llama_index

>= 4.4.1

Google ADK

OpenInference (openinference-instrumentation-google-adk)

openinference.instrumentation.google_adk

>= 0.1.13

SDK do Claude Agent

OpenInference (openinference-instrumentation-claude-agent-sdk)

openinference.instrumentation.claude_agent_sdk

>= 0.1.3

O nome do escopo é o valor do scope.name campo em cada período e registro de evento. O serviço de avaliação o usa para determinar se ele pode processar um intervalo.

Como o serviço lê uma sessão

Independentemente da estrutura, o serviço de avaliação reconstrói uma sessão a partir de dois sinais de telemetria: intervalos e registros de eventos. Ele classifica cada extensão por seu tipo e, em seguida, extrai o conteúdo dela:

  1. Identifique o tipo de extensão a partir dos atributos específicos da estrutura. Um intervalo pode ser um intervalo de invocação do agente (a execução do agente de nível superior), um intervalo de ferramenta de execução (uma única chamada de ferramenta) ou um intervalo de inferência (uma única chamada de modelo).

  2. Extraia os valores relevantes dos atributos de cada período ou de seu registro de eventos correlacionado. Por exemplo, o prompt do usuário vem da mensagem humana (função do usuário) na entrada do agente, e a resposta do agente vem da mensagem de IA (função do assistente) na saída do agente.

Os nomes exatos dos atributos e as localizações do conteúdo diferem de acordo com a estrutura e a biblioteca de instrumentação. A página de intervalos, registros de eventos e sinais de telemetria explica a estrutura de intervalos e registros de eventos e onde o conteúdo reside. As páginas por estrutura descrevem os atributos e dados de exemplo para cada estrutura compatível.

Configurar a observabilidade

Instrumentar seu agente é uma parte da produção de telemetria que o serviço de avaliação possa ler. Antes dos trabalhos de avaliação de ponta a ponta, seu agente também deve ter a observabilidade ativada e exportar seus períodos e registros de eventos para a Amazon. CloudWatch Execute as etapas a seguir:

  1. Ative a Pesquisa de CloudWatch Transações, que é um pré-requisito para avaliação. Consulte Habilitando a AgentCore observabilidade.

  2. Habilite a observabilidade para seu agente, com base em onde ele está hospedado:

Agentes de amostra

Os exemplos a seguir mostram agentes da Strands hospedados fora do Amazon Bedrock AgentCore Runtime, exportando telemetria para a Amazon CloudWatch com ADOT. Eles se concentram na configuração da observabilidade em vez da API de avaliação. As amostras usam Strands, mas o mesmo padrão de hospedagem e exportação de telemetria se aplica a outras estruturas suportadas, como. LangGraph

Tópicos