View a markdown version of this page

Cadres d'agents pris en charge - Amazon Bedrock AgentCore
Comment le service lit une sessionConfigurer l'observabilitéAgents d'échantillonnage

Cadres d'agents pris en charge

Amazon Bedrock AgentCore Evaluations évalue les agents créés à l'aide de frameworks d'agents populaires. Ce qu'un agent émet sous forme de télémétrie et la manière dont cette télémétrie est structurée dépendent de l'infrastructure d'agents que vous créez et de la bibliothèque d'instrumentation que vous utilisez pour l'enregistrer.

Pour chaque framework pris en charge, cette section décrit :

  • Les bibliothèques d'instrumentation que vous pouvez utiliser.

  • Comment instrumenter votre agent.

  • À quoi ressemblent les intervalles et les enregistrements d'événements qui en résultent.

  • Comment le service d'évaluation localise les valeurs dont il a besoin, telles que l'invite de l'utilisateur, la réponse de l'agent et les appels aux outils.

AgentCore Les évaluations prennent en charge les cadres et bibliothèques d'instruments suivants. Il ne prend en charge que les versions Python de ces bibliothèques.

Framework d'agents Bibliothèque d'instrumentation Nom de la portée Version recommandée

Agents à mèches

Built-in (SDK Strands Agents)

strands.telemetry.tracer

Dernière

LangGraph

OpenTelemetry (opentelemetry-instrumentation-langchain)

opentelemetry.instrumentation.langchain

>= 0.55.0

LangGraph

OpenInference (openinference-instrumentation-langchain)

openinference.instrumentation.langchain

>= 0.1.62

Agents OpenAI

OpenTelemetry (opentelemetry-instrumentation-openai-agents)

opentelemetry.instrumentation.openai_agents

>= 0.61.0

Agents OpenAI

OpenInference (openinference-instrumentation-openai-agents)

openinference.instrumentation.openai_agents

>= 1.5.0

LlamaIndex

OpenTelemetry (opentelemetry-instrumentation-llamaindex)

opentelemetry.instrumentation.llamaindex

>= 0.61.0

LlamaIndex

OpenInference (openinference-instrumentation-llama-index)

openinference.instrumentation.llama_index

>= 4.4.1

Google ADK

OpenInference (openinference-instrumentation-google-adk)

openinference.instrumentation.google_adk

>= 0.1.13

Kit de développement logiciel Claude Agent

OpenInference (openinference-instrumentation-claude-agent-sdk)

openinference.instrumentation.claude_agent_sdk

>= 0.1.3

Le nom de la portée est la valeur du scope.name champ sur chaque intervalle et enregistrement d'événement. Le service d'évaluation l'utilise pour déterminer s'il est capable de traiter un intervalle.

Comment le service lit une session

Quel que soit le cadre, le service d'évaluation reconstruit une session à partir de deux signaux de télémétrie : les intervalles et les enregistrements d'événements. Il classe chaque intervalle en fonction de son type, puis en extrait le contenu :

  1. Identifiez le type de span à partir des attributs spécifiques au framework. Un intervalle peut être un intervalle d'appel d'agent (l'agent de niveau supérieur exécuté), un intervalle d'outil d'exécution (un seul appel d'outil) ou un intervalle d'inférence (un seul appel de modèle).

  2. Extrayez les valeurs pertinentes des attributs de chaque intervalle ou de son enregistrement d'événements corrélé. Par exemple, l'invite utilisateur provient du message humain (rôle utilisateur) dans l'entrée de l'agent, et la réponse de l'agent provient du message AI (rôle d'assistant) dans la sortie de l'agent.

Les noms d'attributs et les emplacements de contenu exacts varient selon le framework et la bibliothèque d'instrumentation. La page Espaces, enregistrements d'événements et signaux de télémétrie explique la structure des intervalles et des enregistrements d'événements, ainsi que l'emplacement du contenu. Les pages par framework décrivent les attributs et des exemples de données pour chaque framework pris en charge.

Configurer l'observabilité

L'instrumentation de votre agent fait partie de la production de données télémétriques lisibles par le service d'évaluation. Avant que l'évaluation ne soit terminée, votre agent doit également activer l'observabilité et exporter ses intervalles et ses enregistrements d'événements vers Amazon. CloudWatch Procédez comme suit :

  1. Activez CloudWatch la recherche de transactions, qui est une condition préalable à l'évaluation. Voir Activation de AgentCore l'observabilité.

  2. Activez l'observabilité pour votre agent, en fonction de l'endroit où il est hébergé :

Agents d'échantillonnage

Les exemples suivants montrent des agents Strands hébergés en dehors d'Amazon Bedrock AgentCore Runtime, qui exportent des données télémétriques vers Amazon CloudWatch avec ADOT. Ils se concentrent sur la configuration de l'observabilité plutôt que sur l'API d'évaluation. Les exemples utilisent Strands, mais le même modèle d'hébergement et d'exportation de télémétrie s'applique aux autres frameworks pris en charge, tels que. LangGraph

Rubriques