View a markdown version of this page

Kelola A/B tes - Batuan Dasar Amazon AgentCore
Sampel KodeTransisi status eksekusi

Kelola A/B tes

Perbarui A/B tes untuk memulainya, menjeda, atau menghentikannya. Anda menggunakan UpdateABTest operasi untuk mengubah status eksekusi.

catatan

Perintah siklus hidup AgentCore CLI (view,,, pause resume stoppromote,archive) mengidentifikasi pengujian berdasarkan ID pekerjaannya yang diteruskan-i, --id, bukan dengan nama. Dapatkan ID dari agentcore run ab-test --json (idbidang) atau dengan mencantumkan tes denganagentcore view ab-test. ID pekerjaan menggunakan formatname-suffix. Sebagai contoh: customerSupportTargetTest-Ab1Cd2Ef3G. Catatan pekerjaan disimpan secara lokal sebagai JSON .cli/jobs/ab-tests/ di bawah proyek Anda.

Sampel Kode

Lihat, jeda, lanjutkan, dan hentikan

contoh
AgentCore CLI

Buat daftar semua pekerjaan A/B pengujian, atau lihat satu secara detail (juga menampilkan URL pemanggilan dan hasil):

agentcore view ab-test
agentcore view ab-test <ab-test-id>

Lanjutkan tes yang dijeda:

agentcore resume ab-test -i <ab-test-id>

Jeda tes yang sedang berjalan. Lalu lintas berhenti membelah dan semua permintaan merutekan ke varian kontrol. Dapat dilanjutkan.

agentcore pause ab-test -i <ab-test-id>

Hentikan tes secara permanen. Semua lalu lintas kembali ke varian kontrol. Ini tidak bisa dibatalkan.

agentcore stop ab-test -i <ab-test-id>
AWS SDK (boto3)

Mulai tes (atur status eksekusi keRUNNING):

import boto3
import uuid

client = boto3.client("bedrock-agentcore", region_name="us-west-2")

response = client.update_ab_test(
    abTestId="customerSupportPromptTest-Ab1Cd2Ef3G",
    executionStatus="RUNNING",
    clientToken=str(uuid.uuid4()),
)
print(f"Execution status: {response['executionStatus']}")

Jeda pengujian yang sedang berjalan:

response = client.update_ab_test(
    abTestId="customerSupportPromptTest-Ab1Cd2Ef3G",
    executionStatus="PAUSED",
    clientToken=str(uuid.uuid4()),
)
print(f"Execution status: {response['executionStatus']}")

Hentikan pengujian yang berjalan secara permanen:

response = client.update_ab_test(
    abTestId="customerSupportPromptTest-Ab1Cd2Ef3G",
    executionStatus="STOPPED",
    clientToken=str(uuid.uuid4()),
)
print(f"Execution status: {response['executionStatus']}")

Promosikan varian pengobatan

Ketika hasilnya signifikan secara statistik, promosikan varian pengobatan. promotemenghentikan tes dan menulis varian pengobatan ke dalamagentcore.json; jalankan agentcore deploy sesudahnya untuk menggulungnya.

contoh
AgentCore CLI
agentcore promote ab-test -i <ab-test-id>
agentcore deploy
AWS SDK (boto3)

SDK tidak memiliki operasi “mempromosikan” tunggal. Hentikan pengujian, lalu terapkan varian pemenang ke sumber daya Anda sendiri (misalnya, dengan memperbarui bundel konfigurasi kontrol atau target gateway agar sesuai dengan perlakuan).

Hapus A/B tes

Hapus A/B tes dan metadata terkait. Tes harus dalam status STOPPED eksekusi sebelum dapat dihapus. Menghapus pengujian tidak memengaruhi bundel konfigurasi, AgentCore Gateway, atau konfigurasi evaluasi online yang direferensikan pengujian.

contoh
AgentCore CLI
agentcore archive ab-test -i <ab-test-id>
AWS SDK (boto3)

Berhenti lalu hapus:

import boto3
import uuid

client = boto3.client("bedrock-agentcore", region_name="us-west-2")

# First stop the test if it's running
client.update_ab_test(
    abTestId="customerSupportPromptTest-Ab1Cd2Ef3G",
    executionStatus="STOPPED",
    clientToken=str(uuid.uuid4()),
)

# Then delete
response = client.delete_ab_test(
    abTestId="customerSupportPromptTest-Ab1Cd2Ef3G"
)
print(f"Deleted: {response['abTestId']}")

Transisi status eksekusi

Dari Ke Deskripsi

NOT_STARTED

RUNNING

Mulai tes. AgentCore Gateway mulai membagi lalu lintas.

RUNNING

PAUSED

Jeda tes. Lalu lintas berhenti membelah; semua rute lalu lintas untuk dikendalikan.

PAUSED

RUNNING

Lanjutkan tes yang dijeda.

RUNNING

STOPPED

Hentikan tes secara permanen. Routing lalu lintas segera berakhir.

PAUSED

STOPPED

Hentikan tes yang dijeda secara permanen.