View a markdown version of this page

Kerangka kerja agen yang didukung - Batuan Dasar Amazon AgentCore
Bagaimana layanan membaca sesiMengatur observabilitasAgen sampel

Kerangka kerja agen yang didukung

Amazon Bedrock AgentCore Evaluations mengevaluasi agen yang dibuat dengan kerangka kerja agen populer. Apa yang dipancarkan agen sebagai telemetri, dan bagaimana telemetri itu terstruktur, bergantung pada kerangka kerja agen yang Anda buat dan pustaka instrumentasi yang Anda gunakan untuk merekamnya.

Untuk setiap kerangka kerja yang didukung, bagian ini menjelaskan:

  • Pustaka instrumentasi yang dapat Anda gunakan.

  • Bagaimana cara menginstruksikan agen Anda.

  • Seperti apa rentang dan catatan peristiwa yang dihasilkan.

  • Bagaimana layanan evaluasi menemukan nilai yang dibutuhkan, seperti prompt pengguna, respons agen, dan panggilan alat.

AgentCore Evaluasi mendukung kerangka kerja dan pustaka instrumentasi berikut. Ini hanya mendukung versi Python dari pustaka ini.

Kerangka agen Perpustakaan instrumentasi Nama lingkup Versi yang direkomendasikan

Agen Helai

Built-in (Agen Helai SDK)

strands.telemetry.tracer

Terbaru

LangGraph

OpenTelemetry (opentelemetry-instrumentation-langchain)

opentelemetry.instrumentation.langchain

>= 0.55.0

LangGraph

OpenInference (openinference-instrumentation-langchain)

openinference.instrumentation.langchain

>= 0.1.62

Agen OpenAI

OpenTelemetry (opentelemetry-instrumentation-openai-agents)

opentelemetry.instrumentation.openai_agents

>= 0.61.0

Agen OpenAI

OpenInference (openinference-instrumentation-openai-agents)

openinference.instrumentation.openai_agents

>= 1.5.0

LlamaIndex

OpenTelemetry (opentelemetry-instrumentation-llamaindex)

opentelemetry.instrumentation.llamaindex

>= 0.61.0

LlamaIndex

OpenInference (openinference-instrumentation-llama-index)

openinference.instrumentation.llama_index

>= 4.4.1

Google ADK

OpenInference (openinference-instrumentation-google-adk)

openinference.instrumentation.google_adk

>= 0.1.13

Agen Claude SDK

OpenInference (openinference-instrumentation-claude-agent-sdk)

openinference.instrumentation.claude_agent_sdk

>= 0.1.3

Nama lingkup adalah nilai scope.name bidang pada setiap rentang dan catatan peristiwa. Layanan evaluasi menggunakannya untuk menentukan apakah dapat memproses rentang.

Bagaimana layanan membaca sesi

Terlepas dari kerangka kerja, layanan evaluasi merekonstruksi sesi dari dua sinyal telemetri: rentang dan catatan peristiwa. Ini mengklasifikasikan setiap rentang berdasarkan jenisnya, kemudian mengekstrak konten darinya:

  1. Identifikasi tipe rentang dari atribut khusus kerangka kerja. Rentang dapat berupa rentang agen pemanggilan (agen tingkat atas dijalankan), rentang alat eksekusi (panggilan alat tunggal), atau rentang inferensi (panggilan model tunggal).

  2. Ekstrak nilai yang relevan dari atribut masing-masing rentang atau dari catatan peristiwa yang berkorelasi. Misalnya, prompt pengguna berasal dari pesan manusia (peran pengguna) dalam input agen, dan respons agen berasal dari pesan AI (peran asisten) dalam output agen.

Nama atribut yang tepat dan lokasi konten berbeda menurut kerangka kerja dan pustaka instrumentasi. Halaman Span, catatan peristiwa, dan sinyal telemetri menjelaskan struktur rentang dan catatan peristiwa dan di mana konten tinggal. Halaman per-kerangka menjelaskan atribut dan contoh data untuk setiap kerangka kerja yang didukung.

Mengatur observabilitas

Instrumentasi agen Anda adalah salah satu bagian dari memproduksi telemetri yang dapat dibaca oleh layanan evaluasi. Sebelum evaluasi bekerja dari ujung ke ujung, agen Anda juga harus mengaktifkan observabilitas dan mengekspor rentang dan catatan kejadiannya ke Amazon. CloudWatch Selesaikan langkah-langkah berikut:

  1. Aktifkan Pencarian CloudWatch Transaksi, yang merupakan prasyarat untuk evaluasi. Lihat Mengaktifkan AgentCore observabilitas.

  2. Aktifkan observabilitas untuk agen Anda, berdasarkan di mana ia di-host:

Agen sampel

Sampel berikut menunjukkan agen Strands yang dihosting di luar Amazon Bedrock AgentCore Runtime, mengekspor telemetri ke Amazon dengan ADOT. CloudWatch Mereka fokus pada pengaturan observabilitas daripada API evaluasi. Sampel menggunakan Strands, tetapi pola hosting dan ekspor telemetri yang sama berlaku untuk kerangka kerja lain yang didukung, seperti. LangGraph

Topik