Simulasi
Simulasi memungkinkan Anda mengevaluasi agen Anda terhadap percakapan dinamis dan multi-putaran yang dihasilkan oleh LLM-backed aktor. Alih-alih memutar ulang skrip tetap, Anda menentukan profil aktor dengan persona dan sasaran, dan mesin simulasi mendorong percakapan realistis dengan agen Anda.
Skenario simulasi terintegrasi dengan runner dataset yang sama yang digunakan untuk skenario yang telah ditentukan sebelumnya. Anda menyertakan skenario simulasi dalam kumpulan data Anda, mengatur konfigurasi simulasi pada pelari, dan pelari menangani siklus hidup aktor secara internal.
Jenis simulasi
Amazon Bedrock AgentCore mendukung jenis simulasi berikut:
-
Simulasi pengguna: Seorang LLM-backed aktor memainkan peran sebagai pengguna akhir yang berinteraksi dengan agen Anda. Aktor memiliki persona (sifat, konteks) dan tujuan, dan menghasilkan pesan pengguna yang realistis sampai tujuan tercapai atau batas belokan tercapai. Gunakan simulasi pengguna untuk menguji bagaimana agen Anda menangani beragam perilaku pengguna, percakapan terbuka, dan kasus tepi dalam skala besar.
Prasyarat
-
Ekstra simulasi:
pip install 'bedrock-agentcore[simulation]'Ini menginstal mesin simulasi aktor yang digunakan untuk menghasilkan putaran percakapan dinamis.
-
AWS kredensi dengan izin untuk memanggil model aktor melalui Amazon Bedrock. Aktor berjalan sebagai panggilan LLM terpisah, sehingga kredensional yang digunakan oleh pelari harus memiliki
bedrock:InvokeModelizin untuk model yang ditentukan dalam.SimulationConfig.model_id -
Semua prasyarat evaluasi dataset berlaku.
Topik
