View a markdown version of this page

Dapatkan hasil evaluasi batch - Batuan Dasar Amazon AgentCore
Sampel KodePermintaan parameterResponsSiklus hidup statusKesalahan

Dapatkan hasil evaluasi batch

Mengambil status dan hasil pekerjaan evaluasi batch. Polling operasi ini sampai pekerjaan mencapai status terminal (COMPLETED,FAILED, atauSTOPPED).

Sampel Kode

contoh
AgentCore CLI

--waitBendera mengontrol bagaimana agentcore run batch-evaluation berperilaku:

  • Dengan--wait: perintah memblokir sampai pekerjaan mencapai status terminal.

  • Tanpa--wait: perintah memulai pekerjaan dan segera kembali. Anda polling untuk status secara terpisah.

    # Start a job and block until it reaches a terminal state
agentcore run batch-evaluation -r MyAgent -e Builtin.Correctness --wait

# List previously started jobs (running jobs are refreshed from the service)
agentcore batch-evaluations history

# Check the status and results of a single job
agentcore view batch-evaluation <batch-evaluation-id>

# Non-interactive (JSON) output, the CLI analogue of a get_batch_evaluation polling loop
agentcore view batch-evaluation <batch-evaluation-id> --json

# Stop a running job
agentcore stop batch-evaluation -i <batch-evaluation-id>

    Gunakan ID evaluasi batch dari output CLI agentcore run batch-evaluation atau dari daftar. agentcore batch-evaluations history

AWS SDK (boto3)
import time
import boto3

client = boto3.client("bedrock-agentcore", region_name="us-west-2")

# Poll until terminal state
while True:
    result = client.get_batch_evaluation(batchEvaluationId=batch_eval_id)
    status = result["status"]
    print(f"Status: {status}")

    if status in ("COMPLETED", "COMPLETED_WITH_ERRORS", "FAILED", "STOPPED"):
        break
    time.sleep(30)

# Display results
if result.get("evaluationResults"):
    er = result["evaluationResults"]
    print(f"Sessions completed: {er.get('numberOfSessionsCompleted', 0)}")
    print(f"Sessions failed:    {er.get('numberOfSessionsFailed', 0)}")
    print(f"Total sessions:     {er.get('totalNumberOfSessions', 0)}")

    for summary in er.get("evaluatorSummaries", []):
        avg = summary.get("statistics", {}).get("averageScore")
        print(f"  {summary['evaluatorId']}: {avg}")

Permintaan parameter

Parameter Tipe Diperlukan Deskripsi

batchEvaluationId

Tali

Ya

ID evaluasi batch dikembalikan olehStartBatchEvaluation. Lulus sebagai parameter jalur.

Respons

Bidang Tipe Deskripsi

batchEvaluationId

String

ID evaluasi batch.

batchEvaluationArn

String

ARN dari evaluasi batch.

batchEvaluationName

String

Nama pekerjaan.

status

String

Status saat ini: PENDINGIN_PROGRESS,COMPLETED,,COMPLETED_WITH_ERRORS,FAILED,STOPPING,STOPPED,DELETING.

createdAt

Stempel waktu

Ketika pekerjaan itu dibuat.

evaluators

Daftar

Evaluator yang digunakan.

outputConfig

Objek

CloudWatch Tujuan log untuk detail per sesi. Berisi cloudWatchConfig.logGroupName dancloudWatchConfig.logStreamName.

evaluationResults

Objek

Hadir saat pekerjaan telah diproses sesi. Lihat Memahami hasil dan output.

errorDetails

Daftar string

Pesan galat jika pekerjaan gagal.

Bidang EvaluasiHasil

Bidang Tipe Deskripsi

numberOfSessionsCompleted

Bilangan Bulat

Jumlah sesi yang berhasil dievaluasi.

numberOfSessionsFailed

Bilangan Bulat

Jumlah sesi yang gagal evaluasi.

numberOfSessionsInProgress

Bilangan Bulat

Jumlah sesi masih dievaluasi.

totalNumberOfSessions

Bilangan Bulat

Jumlah total sesi yang ditemukan.

numberOfSessionsIgnored

Bilangan Bulat

Jumlah sesi yang diabaikan untuk evaluasi. Layanan mengevaluasi hingga 500 sesi per pekerjaan; jika lebih banyak ditemukan, 500 terbaru dipilih.

evaluatorSummaries

Daftar

Per-evaluator hasil agregat.

Bidang evaluatorSummaries

Bidang Tipe Deskripsi

evaluatorId

String

ID Evaluator (misalnya,Builtin.GoalSuccessRate).

statistics.averageScore

Ganda

Skor rata-rata di semua sesi yang dievaluasi.

totalEvaluated

Bilangan Bulat

Jumlah sesi yang dinilai oleh evaluator ini.

totalFailed

Bilangan Bulat

Jumlah sesi di mana evaluator ini gagal.

Siklus hidup status

PENDING → IN_PROGRESS → COMPLETED
                      → COMPLETED_WITH_ERRORS
                      → FAILED
         STOPPING     → STOPPED
         DELETING

  • PENDING — Pekerjaan telah diterima dan antri untuk diproses.

  • IN_PROGRESS — Layanan ini menemukan sesi dan menjalankan evaluator.

  • SELESAI - Semua sesi telah dievaluasi. Hasil tersedia.

  • COMPLETED_WITH_ERRORS — Pekerjaan selesai tetapi beberapa sesi mengalami kesalahan. Hasil sebagian tersedia.

  • GAGAL — Pekerjaan mengalami kesalahan. Periksa errorDetails detailnya.

  • STOPING — Permintaan berhenti telah diterima. Pekerjaan itu mereda.

  • STOPTED — Pekerjaan dihentikan sebelum selesai. Hasil sebagian mungkin tersedia.

  • MENGHAPUS - Pekerjaan sedang dihapus.

Kesalahan

Kesalahan Status HTTP Deskripsi

ResourceNotFoundException

404

Tidak ada evaluasi batch yang ditemukan dengan ID yang ditentukan.

ValidationException

400

Format ID evaluasi batch tidak valid.

AccessDeniedException

403

Izin tidak mencukupi.

ThrottlingException

429

Tingkat permintaan terlampaui.

InternalServerException

500

Service-side kesalahan.