View a markdown version of this page

A/B pruebas - Base amazónica AgentCore
¿Cuándo usar las pruebas A/BFuncionamientoA/B patrones de prueba

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

A/B pruebas

A/B las pruebas dividen el tráfico de producción en vivo entre dos variantes y evalúan continuamente el rendimiento con significación estadística. El AgentCore Gateway gestiona el enrutamiento del tráfico; el código de su agente no cambia.

A/B las pruebas son el paso de validación en el ciclo AgentCore de mejora de la optimización. Tras generar una recomendación y validarla mediante evaluaciones por lotes offline, realizas una A/B prueba para confirmar que el cambio mejora el rendimiento del tráfico en vivo antes de comprometerte con una implementación completa. Puedes dirigir el tráfico a AgentCore tiempos de ejecución distintos (basados en objetivos) o entregar diferentes configuraciones al mismo AgentCore tiempo de ejecución (paquetes de configuración).

¿Cuándo usar las pruebas A/B

Usa A/B las pruebas cuando necesites:

  • Valide una recomendación antes de enrutar todo el tráfico de producción a la configuración optimizada.

  • Compare dos versiones del modelo (por ejemplo, pasar de un modelo básico a otro) sobre el tráfico en vivo con rigor estadístico.

  • Mida el impacto de un cambio rápido en sesiones de usuarios reales, en lugar de hacerlo con un conjunto de pruebas seleccionadas.

  • Implemente gradualmente una nueva funcionalidad (nuevas herramientas, mensajes de sistema actualizados) validándola en un subconjunto del tráfico en vivo antes de su implementación completa.

Funcionamiento

Una A/B prueba sigue este flujo:

  1. Se inicia una A/B prueba especificando un AgentCore Gateway ya implementado, dos variantes (control y tratamiento), ponderaciones del tráfico y configuraciones de evaluación en línea para la puntuación. agentcore run ab-test (La función de ejecución es opcional: apártela --role-arn para traer la suya propia o deje que la CLI cree una). Cada variante hace referencia a un destino de AgentCore Gateway o a una versión de un paquete de configuración. La prueba comienza a EJECUTARSE tan pronto como vuelve el comando (se usa --disable-on-create para iniciarla de forma detenida).

  2. La AgentCore puerta de enlace divide el tráfico. Una vez que se ejecuta la prueba, la puerta de enlace divide el tráfico entrante entre las dos variantes en función del ID de sesión en tiempo de ejecución. La asignación es fija; un identificador de sesión determinado siempre se dirige a la misma variante.

  3. La evaluación en línea puntúa cada sesión. La configuración de evaluación en línea que especificó ejecuta los evaluadores en cada sesión a medida que se completa. El proceso A/B de agregación de pruebas asigna las puntuaciones a las variantes.

  4. El servicio calcula la significación estadística. A medida que aumenta el tamaño de la muestra, el servicio calcula las métricas por evaluador para cada variante: puntuación media, cambio absoluto y porcentual, valor p, intervalo de confianza y un indicador de significancia. Un valor p inferior a 0,05 indica que la diferencia es estadísticamente significativa. Los resultados de la encuesta se agentcore view ab-test <id> publican en cualquier momento sin afectar a la validez estadística.

  5. Promueves la variante de tratamiento. Cuando los resultados sean significativos, corra agentcore promote ab-test -i <id> para detener la prueba e introduzca la variante de tratamiento en ella yagentcore.json, agentcore deploy a continuación, para implementarla. (También puedes hacerlo agentcore stop ab-test -i <id> sin promocionar).

A/B patrones de prueba

A/B las pruebas admiten dos patrones de configuración variantes:

Target-based variantes

Úselo cuando el cambio incluya cambios en el código, una actualización del marco o cuando desee comparar implementaciones de agentes completamente diferentes. Cada variante se dirige a un destino de AgentCore Gateway diferente que apunta a un punto final de tiempo de ejecución diferente.

Variantes del paquete de configuración

Úselo cuando el cambio sea puramente de configuración (línea de comandos del sistema, ID del modelo o descripciones de las herramientas). Ambas variantes se ejecutan en el mismo AgentCore motor de ejecución con diferentes versiones del paquete de configuración. El AgentCore Gateway introduce la referencia del paquete en cada solicitud a través de los encabezados de equipaje del W3C, que el motor de ejecución puede utilizar para extraer las configuraciones mediante el SDK. AgentCore

Elegir un patrón
Aspecto Target-based variantes Variantes de paquetes de configuración

¿Qué varía

Punto final de ejecución completo (código, marco, modelo)

Indicador del sistema, descripciones de herramientas, parámetros del modelo

Enrutamiento

Diferentes objetivos por variante

Mismo objetivo, diferentes paquetes de configuración

Configuración de evaluación

Una configuración de evaluación en línea por AgentCore tiempo de ejecución

Configuración de evaluación en línea única y compartida

Cuándo se debe usar

Cambios de código, actualizaciones del marco, comparación de diferentes agentes

Configuration-only cambios en un único AgentCore tiempo de ejecución
Temas