View a markdown version of this page

A/B test - Amazon Bedrock AgentCore
Quand utiliser les A/B testsComment ça marcheA/B modèles de test

A/B test

A/B les tests répartissent le trafic de production en direct entre deux variantes et évaluent en permanence les performances avec une signification statistique. La AgentCore passerelle gère le routage du trafic ; le code de votre agent ne change pas.

A/B le test est l'étape de validation de la boucle AgentCore d'amélioration de l'optimisation. Après avoir généré une recommandation et l'avoir validée par des évaluations par lots hors ligne, vous effectuez un A/B test pour confirmer que la modification améliore les performances sur le trafic réel avant de vous engager dans un déploiement complet. Vous pouvez acheminer le trafic vers des environnements d' AgentCore exécution distincts (basés sur des cibles) ou fournir différentes configurations au même AgentCore environnement d'exécution (ensembles de configuration).

Quand utiliser les A/B tests

Utilisez A/B les tests lorsque vous devez :

  • Validez une recommandation avant d'acheminer tout le trafic de production vers la configuration optimisée.

  • Comparez deux versions de modèle (par exemple, en passant d'un modèle de base à un autre) sur le trafic réel avec une rigueur statistique.

  • Mesurez l'impact d'un changement rapide sur des sessions utilisateur réelles plutôt que sur un ensemble de tests sélectionné.

  • Déployez progressivement une nouvelle fonctionnalité (nouveaux outils, invite système mise à jour) en la validant sur un sous-ensemble du trafic réel avant le déploiement complet.

Comment ça marche

Un A/B test suit ce flux :

  1. Vous lancez un A/B test en spécifiant une AgentCore passerelle déjà déployée, deux variantes (contrôle et traitement), des pondérations du trafic et des configurations d'évaluation en ligne pour la notation. agentcore run ab-test (Le rôle d'exécution est facultatif : passez --role-arn à apporter le vôtre ou laissez la CLI en créer un.) Chaque variante fait référence à une cible de AgentCore passerelle ou à une version du bundle de configuration. Le test démarre dès que la commande revient (l'utilisation --disable-on-create pour le démarrer est arrêtée).

  2. La AgentCore passerelle divise le trafic. Une fois le test exécuté, la passerelle répartit le trafic entrant entre les deux variantes en fonction de l'ID de session d'exécution. L'assignation est permanente ; un identifiant de session donné est toujours acheminé vers la même variante.

  3. Les notes d'évaluation en ligne sont attribuées à chaque session. La configuration d'évaluation en ligne que vous avez spécifiée exécute les évaluateurs pour chaque session au fur et à mesure qu'elle se termine. Le pipeline A/B d'agrégation de tests associe les scores aux variantes.

  4. Le service calcule la signification statistique. À mesure que la taille des échantillons augmente, le service calcule des mesures par évaluateur pour chaque variante : score moyen, variation absolue et en pourcentage, valeur p, intervalle de confiance et indicateur de signification. Une valeur de p inférieure à 0,05 indique que la différence est statistiquement significative. Les résultats du sondage peuvent être consultés agentcore view ab-test <id> à tout moment sans affecter la validité statistique.

  5. Vous faites la promotion de la variante du traitement. Lorsque les résultats sont significatifs, exécutez agentcore promote ab-test -i <id> pour arrêter le test et inscrivez la variante du traitementagentcore.json, puis agentcore deploy déployez-la. (Vous pouvez également le faire agentcore stop ab-test -i <id> sans promotion.)

A/B modèles de test

A/B les tests prennent en charge deux variantes de modèles de configuration :

Target-based variantes

À utiliser lorsque la modification inclut des modifications de code, une mise à niveau du framework ou lorsque vous souhaitez comparer des implémentations d'agents totalement différentes. Chaque variante est acheminée vers une cible de AgentCore passerelle différente pointant vers un point de terminaison d'exécution différent.

Variantes du bundle de configuration

À utiliser lorsque la modification concerne uniquement la configuration (invite du système, ID du modèle ou descriptions des outils). Les deux variantes s'exécutent sur le même AgentCore environnement d'exécution avec des versions de bundle de configuration différentes. La AgentCore passerelle injecte la référence du bundle dans chaque demande via les en-têtes de bagages du W3C, que le moteur d'exécution peut utiliser pour extraire les configurations à l'aide du SDK. AgentCore

Choisir un motif
Aspect Target-based variantes Variantes du bundle de configuration

Ce qui varie

Endpoint d'exécution complet (code, framework, modèle)

Invite du système, descriptions des outils, paramètres du modèle

Routage

Des cibles différentes par variante

Même cible, différents ensembles de configuration

Configuration d'évaluation

Une configuration d'évaluation en ligne par AgentCore Runtime

Configuration d'évaluation en ligne partagée unique

Quand l’utiliser

Changements de code, mises à niveau du framework, comparaison de différents agents

Configuration-only modifications sur un seul AgentCore Runtime
Rubriques