View a markdown version of this page

Framework di agenti supportati - Amazon Bedrock AgentCore
In che modo il servizio legge una sessioneImposta l'osservabilitàAgenti di esempio

Framework di agenti supportati

Amazon Bedrock AgentCore Evaluations valuta gli agenti creati con i framework di agenti più diffusi. Ciò che un agente emette come telemetria e il modo in cui tale telemetria è strutturata dipendono dal framework di agenti con cui viene creata e dalla libreria di strumentazione utilizzata per registrarla.

Per ogni framework supportato, questa sezione descrive:

  • Le librerie di strumentazione che puoi usare.

  • Come strumentare il tuo agente.

  • Che aspetto hanno gli intervalli e i record degli eventi risultanti.

  • In che modo il servizio di valutazione individua i valori di cui ha bisogno, come il prompt dell'utente, la risposta dell'agente e le chiamate agli strumenti.

AgentCore Evaluations supporta i seguenti framework e librerie di strumentazione. Supporta solo le versioni Python di queste librerie.

Framework per agenti Libreria di strumentazione Nome dell'ambito Versioni suggerite

Agenti Strands

Built-in (SDK Strands Agents)

strands.telemetry.tracer

Più recente

LangGraph

OpenTelemetry (opentelemetry-instrumentation-langchain)

opentelemetry.instrumentation.langchain

>= 0.55.0

LangGraph

OpenInference (openinference-instrumentation-langchain)

openinference.instrumentation.langchain

>= 0.1.62

Agenti OpenAI

OpenTelemetry (opentelemetry-instrumentation-openai-agents)

opentelemetry.instrumentation.openai_agents

>= 0.61.0

Agenti OpenAI

OpenInference (openinference-instrumentation-openai-agents)

openinference.instrumentation.openai_agents

>= 1.5.0

LlamaIndex

OpenTelemetry (opentelemetry-instrumentation-llamaindex)

opentelemetry.instrumentation.llamaindex

>= 0.61.0

LlamaIndex

OpenInference (openinference-instrumentation-llama-index)

openinference.instrumentation.llama_index

>= 4.4.1

Google ADK

OpenInference (openinference-instrumentation-google-adk)

openinference.instrumentation.google_adk

>= 0.1.13

Claude Agent SDK

OpenInference (openinference-instrumentation-claude-agent-sdk)

openinference.instrumentation.claude_agent_sdk

>= 0.1.3

Il nome dell'ambito è il valore del scope.name campo su ogni record di span ed evento. Il servizio di valutazione lo utilizza per determinare se è in grado di elaborare uno span.

In che modo il servizio legge una sessione

Indipendentemente dal framework, il servizio di valutazione ricostruisce una sessione a partire da due segnali di telemetria: intervalli e registrazioni degli eventi. Classifica ogni intervallo in base al tipo, quindi ne estrae il contenuto:

  1. Identifica il tipo di intervallo dagli attributi specifici del framework. Uno span può essere un invoke agent span (l'esecuzione dell'agente di primo livello), uno strumento di esecuzione (una singola chiamata allo strumento) o uno span di inferenza (una chiamata a un singolo modello).

  2. Estrai i valori pertinenti dagli attributi di ogni span o dal relativo record di eventi correlato. Ad esempio, il prompt dell'utente proviene dal messaggio umano (ruolo utente) nell'input dell'agente e la risposta dell'agente proviene dal messaggio AI (ruolo dell'assistente) nell'output dell'agente.

I nomi esatti degli attributi e le posizioni dei contenuti differiscono in base al framework e alla libreria di strumentazione. La pagina Intervalli, registrazioni degli eventi e segnali di telemetria spiega la struttura degli intervalli e dei record degli eventi e la posizione in cui risiede il contenuto. Le pagine relative ai singoli framework descrivono gli attributi e i dati di esempio per ogni framework supportato.

Imposta l'osservabilità

La strumentazione dell'agente è una parte della produzione di telemetria che il servizio di valutazione è in grado di leggere. Prima che la valutazione si concluda dall'inizio alla fine, il tuo agente deve inoltre avere abilitato l'osservabilità ed esportare i relativi intervalli e i record degli eventi su Amazon. CloudWatch Completa questa procedura:

  1. Abilita CloudWatch Transaction Search, che è un prerequisito per la valutazione. Vedere Abilitazione dell' AgentCore osservabilità.

  2. Abilita l'osservabilità per il tuo agente, in base a dove è ospitato:

Agenti di esempio

Gli esempi seguenti mostrano agenti Strands ospitati all'esterno di Amazon Bedrock AgentCore Runtime, che esportano telemetria su Amazon con ADOT. CloudWatch Si concentrano sulla configurazione dell'osservabilità piuttosto che sull'API di valutazione. Gli esempi utilizzano Strands, ma lo stesso modello di hosting ed esportazione della telemetria si applica ad altri framework supportati, come. LangGraph

Argomenti