Sampel Kode Permintaan parameter Respons Siklus hidup status Kesalahan

Dapatkan hasil evaluasi batch

Mengambil status dan hasil pekerjaan evaluasi batch. Jajak pendapat operasi ini sampai pekerjaan mencapai status terminal (COMPLETED,FAILED, atauSTOPPED).

Sampel Kode

contoh

AgentCore CLI

--waitBendera mengontrol bagaimana agentcore run batch-evaluation berperilaku:

Dengan--wait: perintah memblokir hingga pekerjaan mencapai status terminal.

Tanpa--wait: perintah memulai pekerjaan dan segera kembali. Anda melakukan polling untuk status secara terpisah.


# Start a job and block until it reaches a terminal state
agentcore run batch-evaluation -r MyAgent -e Builtin.Correctness --wait

# List previously started jobs (running jobs are refreshed from the service)
agentcore batch-evaluations history

# Check the status and results of a single job
agentcore view batch-evaluation <batch-evaluation-id>

# Non-interactive (JSON) output, the CLI analogue of a get_batch_evaluation polling loop
agentcore view batch-evaluation <batch-evaluation-id> --json

# Stop a running job
agentcore stop batch-evaluation -i <batch-evaluation-id>

Gunakan ID evaluasi batch dari output CLI dari agentcore run batch-evaluation atau dari agentcore batch-evaluations history daftar.

AWS SDK (boto3)


import time
import boto3

client = boto3.client("bedrock-agentcore", region_name="us-west-2")

# Poll until terminal state
while True:
    result = client.get_batch_evaluation(batchEvaluationId=batch_eval_id)
    status = result["status"]
    print(f"Status: {status}")

    if status in ("COMPLETED", "COMPLETED_WITH_ERRORS", "FAILED", "STOPPED"):
        break
    time.sleep(30)

# Display results
if result.get("evaluationResults"):
    er = result["evaluationResults"]
    print(f"Sessions completed: {er.get('numberOfSessionsCompleted', 0)}")
    print(f"Sessions failed:    {er.get('numberOfSessionsFailed', 0)}")
    print(f"Total sessions:     {er.get('totalNumberOfSessions', 0)}")

    for summary in er.get("evaluatorSummaries", []):
        avg = summary.get("statistics", {}).get("averageScore")
        print(f"  {summary['evaluatorId']}: {avg}")

Permintaan parameter

Parameter	Tipe	Diperlukan	Deskripsi
`batchEvaluationId`	Tali	Ya	ID evaluasi batch dikembalikan oleh`StartBatchEvaluation`. Diteruskan sebagai parameter jalur.

Respons

Bidang	Tipe	Deskripsi
`batchEvaluationId`	String	ID evaluasi batch.
`batchEvaluationArn`	String	ARN dari evaluasi batch.
`batchEvaluationName`	String	Nama pekerjaannya.
`status`	String	Status saat ini: `PENDINGIN_PROGRESS`,`COMPLETED`,,`COMPLETED_WITH_ERRORS`,`FAILED`,`STOPPING`,`STOPPED`,`DELETING`.
`createdAt`	Stempel waktu	Ketika pekerjaan itu diciptakan.
`evaluators`	Daftar	Evaluator yang digunakan.
`outputConfig`	Objek	CloudWatch Tujuan log untuk detail per sesi. Ber `cloudWatchConfig.logGroupName` isi dan`cloudWatchConfig.logStreamName`.
`evaluationResults`	Objek	Hadir saat pekerjaan telah diproses sesi. Lihat Memahami hasil dan keluaran.
`errorDetails`	Daftar string	Pesan galat jika pekerjaan gagal.

Bidang EvaluasiHasil

Bidang	Tipe	Deskripsi
`numberOfSessionsCompleted`	Bilangan Bulat	Jumlah sesi yang berhasil dievaluasi.
`numberOfSessionsFailed`	Bilangan Bulat	Jumlah sesi yang gagal evaluasi.
`numberOfSessionsInProgress`	Bilangan Bulat	Jumlah sesi masih dievaluasi.
`totalNumberOfSessions`	Bilangan Bulat	Jumlah total sesi yang ditemukan.
`numberOfSessionsIgnored`	Bilangan Bulat	Jumlah sesi diabaikan untuk evaluasi. Layanan mengevaluasi hingga 500 sesi per pekerjaan; jika lebih banyak ditemukan, 500 sesi terbaru dipilih.
`evaluatorSummaries`	Daftar	Per-evaluator hasil agregat.

Bidang EvaluatorSummaries

Bidang	Tipe	Deskripsi
`evaluatorId`	String	ID Evaluator (misalnya,`Builtin.GoalSuccessRate`).
`statistics.averageScore`	Ganda	Skor rata-rata di semua sesi yang dievaluasi.
`totalEvaluated`	Bilangan Bulat	Jumlah sesi yang dinilai evaluator ini.
`totalFailed`	Bilangan Bulat	Jumlah sesi di mana evaluator ini gagal.

Siklus hidup status

PENDING → IN_PROGRESS → COMPLETED
                      → COMPLETED_WITH_ERRORS
                      → FAILED
         STOPPING     → STOPPED
         DELETING

TER TUNDA — Pekerjaan telah diterima dan diantri untuk diproses.
IN_PROGRESS — Layanan ini menemukan sesi dan menjalankan evaluator.
SEL ESAI — Semua sesi telah dievaluasi. Hasil tersedia.
COMPLETED_WITH_ERRORS — Pekerjaan selesai tetapi beberapa sesi mengalami kesalahan. Hasil paruh tersedia.
GAG AL — Pekerjaan mengalami kesalahan. Per errorDetails iksa detailnya.
MENG HENTIKAN — Permintaan berhenti telah diterima. Pekerjaan sedang berakhir.
DI HENTIKAN — Pekerjaan dihentikan sebelum selesai. Hasil paruh mungkin tersedia.
MENGHAPUS — Pekerjaan sedang dihapus.

Kesalahan

Kesalahan	Status HTTP	Deskripsi
`ResourceNotFoundException`	404	Tidak ada evaluasi batch yang ditemukan dengan ID yang ditentukan.
`ValidationException`	400	Format ID evaluasi batch tidak valid.
`AccessDeniedException`	403	Izin tidak mencukupi.
`ThrottlingException`	429	Tingkat permintaan terlampaui.
`InternalServerException`	500	Service-side kesalahan.

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Mulai evaluasi batch

Daftar evaluasi batch