View a markdown version of this page

Einen A/B Test verwalten - Amazon Grundgestein AgentCore
CodebeispieleÜbergänge zum Ausführungsstatus

Einen A/B Test verwalten

Aktualisieren Sie einen A/B Test, um ihn zu starten, anzuhalten oder zu beenden. Sie verwenden den UpdateABTest Vorgang, um den Ausführungsstatus zu ändern.

Anmerkung

Die AgentCore CLI-Lebenszyklusbefehle (viewpauseresumestop,,promote,,archive) identifizieren einen Test anhand seiner übergebenen Job-ID-i, --id, nicht anhand seines Namens. Rufen Sie die ID aus agentcore run ab-test --json (dem id Feld) ab oder indem Sie Tests mit auflistenagentcore view ab-test. Die Job-ID verwendet das Formatname-suffix. Beispiel: customerSupportTargetTest-Ab1Cd2Ef3G. Jobdatensätze werden lokal als JSON unter .cli/jobs/ab-tests/ in Ihrem Projekt gespeichert.

Codebeispiele

Ansehen, Pausieren, Fortfahren und Beenden

Beispiel
AgentCore CLI

A/B Listet alle Testaufträge auf oder zeigt einen im Detail an (zeigt auch die Aufruf-URL und die Ergebnisse an):

agentcore view ab-test
agentcore view ab-test <ab-test-id>

Setzen Sie einen unterbrochenen Test fort:

agentcore resume ab-test -i <ab-test-id>

Unterbrechen Sie einen laufenden Test. Der Verkehr wird nicht mehr aufgeteilt und alle Anfragen werden an die Kontrollvariante weitergeleitet. Kann wieder aufgenommen werden.

agentcore pause ab-test -i <ab-test-id>

Stoppen Sie einen Test dauerhaft. Der gesamte Verkehr kehrt zur Kontrollvariante zurück. Dies kann nicht rückgängig gemacht werden.

agentcore stop ab-test -i <ab-test-id>
AWS SDK (boto3)

Starten Sie einen Test (setzen Sie den Ausführungsstatus aufRUNNING):

import boto3
import uuid

client = boto3.client("bedrock-agentcore", region_name="us-west-2")

response = client.update_ab_test(
    abTestId="customerSupportPromptTest-Ab1Cd2Ef3G",
    executionStatus="RUNNING",
    clientToken=str(uuid.uuid4()),
)
print(f"Execution status: {response['executionStatus']}")

Unterbrechen Sie einen laufenden Test:

response = client.update_ab_test(
    abTestId="customerSupportPromptTest-Ab1Cd2Ef3G",
    executionStatus="PAUSED",
    clientToken=str(uuid.uuid4()),
)
print(f"Execution status: {response['executionStatus']}")

Stoppen Sie einen laufenden Test dauerhaft:

response = client.update_ab_test(
    abTestId="customerSupportPromptTest-Ab1Cd2Ef3G",
    executionStatus="STOPPED",
    clientToken=str(uuid.uuid4()),
)
print(f"Execution status: {response['executionStatus']}")

Werben Sie für die Behandlungsvariante

Wenn die Ergebnisse statistisch signifikant sind, bewerben Sie die Behandlungsvariante. promotestoppt den Test und schreibt die Behandlungsvariante hinein. Führen Sie ihn agentcore deploy anschließend ausagentcore.json, um ihn einzuführen.

Beispiel
AgentCore CLI
agentcore promote ab-test -i <ab-test-id>
agentcore deploy
AWS SDK (boto3)

Das SDK verfügt nicht über einen einzelnen Vorgang zum „Heraufstufen“. Beenden Sie den Test und wenden Sie dann die erfolgreiche Variante selbst auf Ihre Ressourcen an (indem Sie beispielsweise das Kontrollkonfigurationspaket oder das Gateway-Ziel entsprechend der Behandlung aktualisieren).

Löschen Sie einen A/B Test

Löschen Sie einen A/B Test und die zugehörigen Metadaten. Der Test muss sich im STOPPED Ausführungsstatus befinden, bevor er gelöscht werden kann. Das Löschen eines Tests hat keine Auswirkungen auf die Konfigurationspakete, das AgentCore Gateway oder die Online-Evaluierungskonfiguration, auf die der Test verwiesen hat.

Beispiel
AgentCore CLI
agentcore archive ab-test -i <ab-test-id>
AWS SDK (boto3)

Stoppen und dann löschen:

import boto3
import uuid

client = boto3.client("bedrock-agentcore", region_name="us-west-2")

# First stop the test if it's running
client.update_ab_test(
    abTestId="customerSupportPromptTest-Ab1Cd2Ef3G",
    executionStatus="STOPPED",
    clientToken=str(uuid.uuid4()),
)

# Then delete
response = client.delete_ab_test(
    abTestId="customerSupportPromptTest-Ab1Cd2Ef3G"
)
print(f"Deleted: {response['abTestId']}")

Übergänge zum Ausführungsstatus

From Bis Description

NOT_STARTED

RUNNING

Starten Sie den Test. Das AgentCore Gateway beginnt mit der Aufteilung des Datenverkehrs.

RUNNING

PAUSED

Unterbrechen Sie den Test. Der Verkehr teilt sich nicht mehr auf, alle Verkehrswege müssen kontrolliert werden.

PAUSED

RUNNING

Setzen Sie einen unterbrochenen Test fort.

RUNNING

STOPPED

Beenden Sie den Test dauerhaft. Die Verkehrsführung wird sofort beendet.

PAUSED

STOPPED

Stoppen Sie einen unterbrochenen Test dauerhaft.