View a markdown version of this page

A/B pruebas - Amazon Bedrock AgentCore
Cuándo utilizar las pruebas A/BFuncionamientoA/B patrones de prueba

A/B pruebas

A/B las pruebas dividen el tráfico de producción en directo entre dos variantes y evalúan continuamente el rendimiento con significación estadística. El AgentCore Gateway gestiona el enrutamiento del tráfico; su código de agente no cambia.

A/B La prueba es el paso de validación en el ciclo AgentCore de mejora de la optimización. Tras generar una recomendación y validarla con evaluaciones por lotes realizadas fuera de línea, debe realizar una A/B prueba para confirmar que el cambio mejora el rendimiento en el tráfico en directo antes de proceder a una implementación completa. Puedes redirigir el tráfico a distintos AgentCore tiempos de ejecución (basados en los objetivos) o entregar diferentes configuraciones al mismo AgentCore tiempo de ejecución (paquetes de configuración).

Cuándo utilizar las pruebas A/B

Utilice A/B las pruebas cuando necesite:

  • Valide una recomendación antes de enrutar todo el tráfico de producción a la configuración optimizada.

  • Compare dos versiones del modelo (por ejemplo, pasar de un modelo base a otro) sobre el tráfico en vivo con rigor estadístico.

  • Mida el impacto de un cambio rápido en sesiones de usuarios reales, en lugar de hacerlo en un conjunto de pruebas seleccionadas.

  • Implemente gradualmente una nueva capacidad (nuevas herramientas, aviso del sistema actualizado) validándola en un subconjunto del tráfico en vivo antes de implementarla por completo.

Funcionamiento

Una A/B prueba sigue este flujo:

  1. Para iniciar una A/B pruebaagentcore run ab-test, se especifica una AgentCore puerta de enlace ya implementada, dos variantes (control y tratamiento), las ponderaciones del tráfico y las configuraciones de evaluación en línea para la puntuación. (La función de ejecución es opcional: pase --role-arn para usar la suya propia o deje que la CLI cree una). Cada variante hace referencia a un destino de AgentCore Gateway o a una versión de paquete de configuración. La prueba comienza a EJECUTARSE en cuanto vuelve el comando (se usa --disable-on-create para iniciarla si se detiene).

  2. La AgentCore puerta de enlace divide el tráfico. Una vez ejecutada la prueba, la puerta de enlace divide el tráfico entrante entre las dos variantes en función del ID de la sesión en tiempo de ejecución. La asignación es fija; un ID de sesión determinado siempre se dirige a la misma variante.

  3. La evaluación en línea puntúa cada sesión. La configuración de evaluación en línea que especificó compara los evaluadores con cada sesión a medida que se completa. El proceso A/B de agregación de pruebas asigna las puntuaciones a las variantes.

  4. El servicio calcula la significación estadística. A medida que aumenta el tamaño de las muestras, el servicio calcula las métricas por evaluador para cada variante: puntuación media, cambio absoluto y porcentual, valor p, intervalo de confianza y un indicador de significancia. Un valor p inferior a 0,05 indica que la diferencia es estadísticamente significativa. Los resultados de la encuesta se agentcore view ab-test <id> publicarán en cualquier momento sin que ello afecte a la validez estadística.

  5. Promueves la variante de tratamiento. Cuando los resultados sean significativos, corre agentcore promote ab-test -i <id> para detener la prueba y escribe en agentcore.json ella la variante de tratamiento agentcore deploy para luego extenderla. (También puedes hacerlo agentcore stop ab-test -i <id> sin promoción).

A/B patrones de prueba

A/B las pruebas admiten dos patrones de configuración variantes:

Target-based variantes

Úselo cuando el cambio incluya cambios de código, una actualización del marco o cuando desee comparar implementaciones de agentes completamente diferentes. Cada variante se dirige a un destino de AgentCore Gateway diferente que apunta a un punto final de ejecución diferente.

Variantes del paquete de configuración

Utilícelo cuando el cambio sea meramente de configuración (indicador del sistema, identificador del modelo o descripciones de la herramienta). Ambas variantes se ejecutan en el mismo AgentCore entorno de ejecución con diferentes versiones del paquete de configuración. El AgentCore Gateway introduce la referencia del paquete en cada solicitud mediante los encabezados de equipaje del W3C, que el motor de ejecución puede utilizar para extraer las configuraciones mediante el SDK. AgentCore

Elegir un patrón
Aspecto Target-based variantes Variantes del paquete de configuración

¿Qué varía

Punto final completo del tiempo de ejecución (código, marco, modelo)

Indicador del sistema, descripciones de las herramientas, parámetros del modelo

Enrutamiento

Diferentes objetivos por variante

El mismo objetivo, diferentes paquetes de configuración

Configuración de evaluación

Una configuración de evaluación en línea por AgentCore tiempo de ejecución

Configuración de evaluación en línea única y compartida

Cuándo se debe usar

Cambios de código, actualizaciones del marco, comparación de diferentes agentes

Configuration-only cambios en un único AgentCore tiempo de ejecución
Temas