View a markdown version of this page

Unterstützte Agenten-Frameworks - Amazon Grundgestein AgentCore
Wie der Dienst eine Sitzung liestRichten Sie die Beobachtbarkeit einBeispiele für Agenten

Unterstützte Agenten-Frameworks

Amazon Bedrock AgentCore Evaluations bewertet Agenten, die mit gängigen Agenten-Frameworks erstellt wurden. Was ein Agent als Telemetrie ausgibt und wie diese Telemetrie strukturiert ist, hängt vom Agenten-Framework ab, mit dem Sie bauen, und von der Instrumentierungsbibliothek, die Sie für die Aufzeichnung verwenden.

In diesem Abschnitt wird für jedes unterstützte Framework Folgendes beschrieben:

  • Die Instrumentierungsbibliotheken, die Sie verwenden können.

  • So instrumentieren Sie Ihren Agenten.

  • Wie die resultierenden Zeitspannen und Ereignisaufzeichnungen aussehen.

  • So findet der Evaluierungsservice die benötigten Werte, wie z. B. die Benutzereingabe, die Antwort des Agenten und die Tool-Aufrufe.

AgentCore Evaluations unterstützt die folgenden Frameworks und Instrumentierungsbibliotheken. Es unterstützt nur die Python-Versionen dieser Bibliotheken.

Agenten-Framework Instrumentierungsbibliothek Name des Bereichs Empfohlene Version

Strands, Agenten

Built-in (Strands Agents SDK)

strands.telemetry.tracer

Neueste

LangGraph

OpenTelemetry (opentelemetry-instrumentation-langchain)

opentelemetry.instrumentation.langchain

>= 0.55.0

LangGraph

OpenInference (openinference-instrumentation-langchain)

openinference.instrumentation.langchain

>= 0.1.62

OpenAI-Agenten

OpenTelemetry (opentelemetry-instrumentation-openai-agents)

opentelemetry.instrumentation.openai_agents

>= 0.61.0

OpenAI-Agenten

OpenInference (openinference-instrumentation-openai-agents)

openinference.instrumentation.openai_agents

>= 1.5.0

LlamaIndex

OpenTelemetry (opentelemetry-instrumentation-llamaindex)

opentelemetry.instrumentation.llamaindex

>= 0.61.0

LlamaIndex

OpenInference (openinference-instrumentation-llama-index)

openinference.instrumentation.llama_index

>= 4.4.1

Google ADK

OpenInference (openinference-instrumentation-google-adk)

openinference.instrumentation.google_adk

>= 0.1.13

Claude Agent SDK

OpenInference (openinference-instrumentation-claude-agent-sdk)

openinference.instrumentation.claude_agent_sdk

>= 0.1.3

Der Bereichsname ist der Wert des scope.name Felds in jedem Span- und Ereignisdatensatz. Der Evaluierungsservice ermittelt damit, ob er eine Spanne verarbeiten kann.

Wie der Dienst eine Sitzung liest

Unabhängig vom Framework rekonstruiert der Evaluierungsdienst eine Sitzung anhand von zwei Telemetriesignalen: Spannen und Ereignisaufzeichnungen. Er klassifiziert jeden Bereich nach seinem Typ und extrahiert dann Inhalte daraus:

  1. Identifizieren Sie den Span-Typ anhand von Framework-spezifischen Attributen. Ein Span kann ein Invoke-Agent-Span (die Agentenausführung auf oberster Ebene), ein Execute Tool-Span (ein einzelner Tool-Aufruf) oder ein Inferenz-Span (ein einzelner Modellaufruf) sein.

  2. Extrahieren Sie die relevanten Werte aus den Attributen der einzelnen Spans oder aus dem zugehörigen Ereignisdatensatz. Die Benutzeraufforderung stammt beispielsweise aus der menschlichen Nachricht (Benutzerrolle) in der Agenteneingabe, und die Antwort des Agenten stammt aus der KI-Nachricht (Assistentenrolle) in der Agentenausgabe.

Die genauen Attributnamen und Inhaltsverzeichnisse unterscheiden sich je nach Framework und Instrumentierungsbibliothek. Auf der Seite Spannweiten, Ereignisaufzeichnungen und Telemetriesignale werden die Struktur von Zeitspannen und Ereignisaufzeichnungen sowie der Speicherort der Inhalte erläutert. Auf den Seiten für jedes Framework werden die Attribute und Beispieldaten für jedes unterstützte Framework beschrieben.

Richten Sie die Beobachtbarkeit ein

Die Instrumentierung Ihres Agenten ist ein Teil der Erstellung von Telemetriedaten, die der Bewertungsdienst lesen kann. Bevor die Bewertung von Anfang bis Ende durchgeführt werden kann, muss Ihr Agent auch Observability aktiviert haben und seine Zeitspannen und Ereignisaufzeichnungen nach Amazon exportieren. CloudWatch Führen Sie folgende Schritte aus:

  1. Aktivieren Sie die CloudWatch Transaktionssuche, was eine Voraussetzung für die Bewertung ist. Siehe AgentCore Observability aktivieren.

  2. Aktivieren Sie Observability für Ihren Agenten, je nachdem, wo er gehostet wird:

Beispiele für Agenten

Die folgenden Beispiele zeigen Strings-Agenten, die außerhalb von Amazon Bedrock AgentCore Runtime gehostet werden und Telemetrie CloudWatch mit ADOT nach Amazon exportieren. Sie konzentrieren sich eher auf die Einrichtung der Observability als auf die Evaluierungs-API. Die Beispiele verwenden Strands, aber das gleiche Hosting- und Telemetrieexportmuster gilt für andere unterstützte Frameworks, wie z. LangGraph

Themen