Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Third-party evaluator

AgentCore Evaluasi menawarkan evaluator dari pust DeepEval aka AutoEval open source. Jika Anda sudah menggunakan pustaka ini, Anda dapat menjalankan metrik yang sama di dalam AgentCore Evaluasi. Layanan ini menangani hosting dan kode evaluasi untuk Anda. Dengan opsi terkelola, layanan juga memilih model dan menjalankan inferensi, seperti halnya untuk evaluator bawaan.

Ada dua cara untuk menggunakan evaluator pihak ketiga:

Identitas evaluator

Dua bidang bersama-sama mengidentifikasi setiap evaluator, termasuk evaluator pihak ketiga:

Kedua bidang tersebut independen, sehingga setiap evaluator adalah satu (evaluatorType, provider) pasangan:

ID evaluator pihak ketiga yang dikelola mengikuti ThirdParty.<Provider>.<Metric> format—misalnya, atau. ThirdParty.DeepEval.TaskCompletion ThirdParty.AutoEval.Security Ini mencerminkan Builtin.<Metric> format yang digunakan untuk evaluator bawaan pihak pertama.

Temukan evaluator yang tersedia

Third-party evaluator dikembalikan oleh ListEvaluators API bersama evaluator bawaan pihak pertama dan evaluator khusus apa pun di akun Anda.

{
  "evaluators": [
    {
      "evaluatorId": "Builtin.Helpfulness",
      "evaluatorType": "Builtin",
      "provider": "AWS",
      "level": "TRACE",
      "status": "ACTIVE"
    },
    {
      "evaluatorId": "ThirdParty.DeepEval.TaskCompletion",
      "evaluatorType": "ThirdParty",
      "provider": "DeepEval",
      "level": "TRACE",
      "status": "ACTIVE"
    },
    {
      "evaluatorId": "ThirdParty.AutoEval.Security",
      "evaluatorType": "ThirdParty",
      "provider": "AutoEval",
      "level": "TRACE",
      "status": "ACTIVE"
    }
  ]
}

Evaluator pihak ketiga yang dikelola

Gunakan evaluator pihak ketiga yang dikelola persis seperti evaluator bawaan: pilih berdasarkan ID, dan layanan menjalankannya pada model yang dioperasikannya. Anda tidak menyediakan model, prompt, atau konfigurasi.

Anda dapat meneruskan ID evaluator pihak ketiga yang dikelola di mana pun Anda akan meneruskan ID evaluator bawaan:

Contoh berikut menjalankan evaluator pihak ketiga yang dikelola dengan Evaluate API:

import boto3

client = boto3.client('bedrock-agentcore')

response = client.evaluate(
    evaluatorId="ThirdParty.DeepEval.TaskCompletion",
    evaluationInput={"sessionSpans": session_span_logs}
)

for result in response["evaluationResults"]:
    print(f"Value: {result.get('value')}")
    print(f"Explanation: {result.get('explanation', '')}")

Evaluator kustom berasal dari evaluator dasar

Gunakan evaluator turunan khusus untuk menjalankan evaluator yang ada — evaluator pihak ketiga bawaan atau dikelola — pada model Anda sendiri. Alih-alih menggunakan model yang dipilih layanan, Anda menyediakan parameter model dan inferensi. Evaluator dasar memberikan prompt dan penilaian. Ini hanya berlaku untuk LLM-based evaluator.

Untuk membuat evaluator turunan khusus, tent derived ukan anggota evaluatorConfig dengan ID evaluator dasar dan konfigurasi model Anda. Simpan yang berikut ini sebagaiderived_evaluator_config.json:

{
    "derived": {
        "baseEvaluatorId": "ThirdParty.DeepEval.TaskCompletion",
        "modelConfig": {
            "bedrockEvaluatorModelConfig": {
                "modelId": "global.anthropic.claude-sonnet-4-5-20250929-v1:0",
                "inferenceConfig": {
                    "temperature": 0.0,
                    "topP": 1.0,
                    "maxTokens": 2048
                }
            }
        }
    }
}

Anda juga dapat memperoleh evaluator kustom dari evaluator bawaan dengan menyetel baseEvaluatorId ke Builtin. ID alih-alih ID. ThirdParty.

Buat evaluator dengan AWS CLI:

aws bedrock-agentcore-control create-evaluator \
    --evaluator-name 'my_task_completion' \
    --evaluator-config file://derived_evaluator_config.json

Evaluator yang dihasilkan telah evaluatorType menetapkan keCustomDerived. Layanan berasal provider secara otomatis dari evaluator dasar: AWS untuk Builtin. basis, atau nama penyedia untuk ThirdParty. basis. Anda tidak menyet level el — layanan mendapatkannya dari evaluator dasar, dan diaktifkan hanya baca. GetEvaluator Anda juga tidak mengatur instructions atau ratingScale karena evaluator dasar memiliki keduanya.

Setelah Anda membuat evaluator, gunakan persis seperti evaluator kustom lainnya: berikan ID evaluatornya keEvaluate, atau tambahkan ke evaluators daftar evaluasi online atau batch.

Hasil

Third-party evaluator mengembalikan bentuk hasil yang sama dengan evaluator bawaan dan kustom, di lokasi yang sama. Untuk informasi selengkapnya, lihat Hasil dan keluaran.

Kumpulan evaluator awal

Evaluator berikut tersedia saat peluncuran.

DeepEval

AutoEval

Konsol

Di pemilih evaluator, evaluator pihak ketiga muncul di bagian evaluator mereka sendiri, dikelompokkan berdasarkan penyedia, terpisah dari kelompok Third-party evaluator bawaan. Bagian ini runtuh secara default.

Untuk membuat evaluator kustom yang berasal dari evaluator dasar, gunakan aliran Create custom evaluator yang ada dan pilih Third-party library sebagai jenis definisi evaluator. Opsi ini menghapus bagian instruksi dan skala yang ditampilkan untuk LLM-as-a-judge, karena evaluator dasar memiliki prompt dan penilaian. Pilih pustaka dan metrik, lalu berikan parameter model dan inferensi. Tingkat evaluasi ditampilkan hanya baca, diatur oleh metrik.