View a markdown version of this page

A/B testen - Amazon Grundgestein AgentCore
Wann sollten Tests eingesetzt werden A/BFunktionsweiseA/B Testmuster

A/B testen

A/B Beim Testen wird der Live-Produktionsverkehr auf zwei Varianten aufgeteilt und die Leistung kontinuierlich mit statistischer Signifikanz bewertet. Das AgentCore Gateway kümmert sich um die Weiterleitung des Datenverkehrs. Ihr Agentencode ändert sich nicht.

A/B Testen ist der Validierungsschritt in der AgentCore Optimierungsschleife. Nachdem Sie eine Empfehlung generiert und diese mit Offline-Batch-Evaluierungen validiert haben, führen Sie einen A/B Test durch, um zu bestätigen, dass die Änderung die Leistung im Live-Verkehr verbessert, bevor Sie sich für einen vollständigen Rollout entscheiden. Sie können den Datenverkehr an separate AgentCore Runtimes weiterleiten (zielbasiert) oder verschiedene Konfigurationen für dieselbe AgentCore Runtime bereitstellen (Konfigurationspakete).

Wann sollten Tests eingesetzt werden A/B

Verwenden Sie A/B Tests, wenn Sie:

  • Überprüfen Sie eine Empfehlung, bevor Sie den gesamten Produktionsdatenverkehr an die optimierte Konfiguration weiterleiten.

  • Vergleichen Sie zwei Modellversionen (z. B. beim Wechsel von einem Basismodell zu einem anderen) anhand des Live-Datenverkehrs mit statistischer Genauigkeit.

  • Messen Sie die Auswirkungen einer sofortigen Änderung anhand realer Benutzersitzungen und nicht anhand eines kuratierten Testsatzes.

  • Führen Sie schrittweise eine neue Funktion ein (neue Tools, aktualisierte Systemaufforderung), indem Sie sie vor der vollständigen Bereitstellung anhand einer Teilmenge des Live-Datenverkehrs validieren.

Funktionsweise

Ein A/B Test folgt diesem Ablauf:

  1. Sie starten einen A/B Test mit agentcore run ab-test Angabe eines bereits bereitgestellten AgentCore Gateways, zweier Varianten (Steuerung und Behandlung), Datenverkehrsgewichte und Online-Evaluierungskonfiguration (en) für die Bewertung. (Die Ausführungsrolle ist optional — übergeben Sie, --role-arn um Ihre eigene Rolle mitzubringen, oder lassen Sie die CLI eine erstellen.) Jede Variante verweist entweder auf ein AgentCore Gateway-Ziel oder eine Version des Konfigurationspakets. Der Test startet mit RUNNING, sobald der Befehl zurückkehrt (verwenden Sie ihn--disable-on-create, um ihn zu starten, gestoppt).

  2. Das AgentCore Gateway teilt den Verkehr auf. Sobald der Test ausgeführt wird, teilt das Gateway den eingehenden Verkehr auf der Grundlage der Runtime-Sitzungs-ID zwischen den beiden Varianten auf. Die Zuweisung ist dauerhaft; eine bestimmte Sitzungs-ID leitet immer an dieselbe Variante weiter.

  3. Bei der Online-Bewertung wird jede Sitzung bewertet. In der von Ihnen angegebenen Konfiguration für die Online-Evaluierung werden nach Abschluss jeder Sitzung Evaluatoren ausgeführt. Die A/B Testaggregationspipeline ordnet die Ergebnisse den Varianten zu.

  4. Der Service berechnet die statistische Signifikanz. Bei steigendem Stichprobenumfang berechnet der Service Kennzahlen pro Evaluator für jede Variante: Mittelwert, absolute und prozentuale Veränderung, p-Wert, Konfidenzintervall und Signifikanzkennzeichnung. Ein p-Wert unter 0,05 bedeutet, dass der Unterschied statistisch signifikant ist. Umfrageergebnisse können agentcore view ab-test <id> jederzeit ohne Auswirkung auf die statistische Validität abgerufen werden.

  5. Sie werben für die Behandlungsvariante. Wenn die Ergebnisse signifikant sind, beenden agentcore promote ab-test -i <id> Sie den Testagentcore.json, schreiben Sie die Behandlungsvariante hinein und führen agentcore deploy Sie sie dann ein. (Das geht auch agentcore stop ab-test -i <id> ohne Werbung.)

A/B Testmuster

A/B Tests unterstützen zwei Varianten von Konfigurationsmustern:

Target-based Varianten

Verwenden Sie diese Option, wenn die Änderung Codeänderungen oder ein Framework-Upgrade beinhaltet oder wenn Sie völlig unterschiedliche Agentenimplementierungen vergleichen möchten. Jede Variante leitet zu einem anderen AgentCore Gateway-Ziel weiter, das auf einen anderen Laufzeitendpunkt verweist.

Varianten des Konfigurationspakets

Verwenden Sie diese Option, wenn es sich bei der Änderung ausschließlich um die Konfiguration handelt (Systemaufforderung, Modell-ID oder Werkzeugbeschreibungen). Beide Varianten werden auf derselben AgentCore Runtime mit unterschiedlichen Versionen des Konfigurationspakets ausgeführt. Das AgentCore Gateway fügt die Paketreferenz über W3C-Baggage-Header in jede Anfrage ein, die Runtime verwenden kann, um die Konfigurationen mithilfe des SDK abzurufen. AgentCore

Ein Muster wählen
Aspekt Target-based Varianten Varianten des Konfigurationspakets

Was variiert

Gesamter Laufzeitendpunkt (Code, Framework, Modell)

Systemaufforderung, Werkzeugbeschreibungen, Modellparameter

Routing

Verschiedene Ziele pro Variante

Gleiches Ziel, unterschiedliche Konfigurationspakete

Konfiguration für die Evaluierung

Eine Online-Evaluierungskonfiguration pro AgentCore Laufzeit

Einzelne gemeinsam genutzte Online-Evaluierungskonfiguration

Wann sollte dies verwendet werden?

Codeänderungen, Framework-Upgrades, Vergleich verschiedener Agenten

Configuration-only Änderungen in einer einzigen AgentCore Runtime
Themen