Creación de un experimento
Utilice experimentos para probar diferentes versiones de una característica o sitio web y recopilar datos de sesiones de usuarios reales. De esta forma, puede tomar decisiones para su aplicación basadas en pruebas y datos.
Para poder agregar un experimento, debe haber creado un proyecto. Para obtener más información, consulte Crear un nuevo proyecto de .
Al agregar un experimento, puede utilizar una característica que ya ha creado o crear una nueva característica mientras crea el experimento.
Para agregar un experimento a un proyecto
Abra la consola de CloudWatch en https://console.aws.amazon.com/cloudwatch/
. En el panel de navegación, elija Señales de aplicación, Evidently.
Seleccione el botón situado junto al nombre del proyecto y elija Project actions (Acciones del proyecto), Create experiment (Crear experimento).
Para Experiment name (Nombre del experimento), ingrese un nombre que se utilizará para identificar esta característica dentro de este proyecto.
También puede optar por agregar una descripción.
Elija Select from existing features (Seleccionar una de las características existentes) o Add new feature (Agregar nueva característica).
Si está utilizando una característica existente, selecciónela en Feature name (Nombre de la característica).
Si elige Add new feature (Agregar nueva característica), realice lo siguiente:
En Feature name (Nombre de la característica), ingrese un nombre que se utilizará para identificar esta característica dentro de este proyecto. También puede optar por ingresar una descripción.
En Feature variations (Variaciones de características), para Variation type (Tipo de variación), elija Boolean (Booleano), Long (Largo), Double (Doble) o String (Cadena). El tipo define el tipo de valor que se utiliza para cada variación. Para obtener más información, consulte Tipos de variaciones.
Agregue un máximo de cinco variaciones para la característica. El Value (Valor) para cada variación debe ser válido para el Variation type (Tipo de variación) que haya seleccionado.
Seleccione una de las variaciones como predeterminada. Este es el punto de partida con el que se compararán las demás variaciones y debería ser la variación que se está presentando ante los usuarios ahora. Si detiene un experimento que utiliza esta característica, se otorgará la variación predeterminada al porcentaje de usuarios que estaban en el experimento anteriormente.
Elija Sample code (Código de muestra). En el ejemplo de código, observará lo que necesita agregar a la aplicación para configurar las variaciones y asignarles sesiones de usuario. Puede elegir entre JavaScript, Java y Python para el código.
No es necesario agregar el código a su aplicación en este momento, pero debe hacerlo antes de iniciar el experimento. Para obtener más información, consulte Agregue código a la aplicación.
Para Audience (Audiencia), si lo desea, seleccione un segmento que haya creado si desea que este experimento se aplique solo a los usuarios que coincidan con ese segmento. Para obtener más información acerca de los segmentos, consulte Use segmentos para centrar su audiencia.
Para Traffic split for the experiment (División del tráfico para el experimento), especifique el porcentaje del público seleccionado cuyas sesiones se utilizarán en el experimento. Luego, asigne el tráfico para las diferentes variaciones que se utilizan en el experimento.
Si un lanzamiento y un experimento se están ejecutando al mismo tiempo para la misma característica, el público primero se dirige al lanzamiento. Luego, el porcentaje de tráfico especificado para el lanzamiento se toma de la audiencia general. Después, el porcentaje que especifica en esta etapa es el porcentaje de la audiencia restante que se utiliza para el experimento. Luego, el tráfico restante utiliza la variación predeterminada.
Para Metrics (Métricas), elija las métricas que desea utilizar para evaluar las variaciones durante el experimento. Debe utilizar al menos una métrica para efectuar una evaluación.
Para Metric source (Origen de métricas), elija si desea utilizar métricas de CloudWatch RUM o métricas personalizadas.
Ingrese un nombre para la métrica. Para Goal (Meta), elija Increase (Aumentar) si desea un valor superior para que la métrica indique una variación mejor. Elija Decrease (Disminuir) si desea un valor inferior para que la métrica indique una variación mejor.
Si utiliza una métrica personalizada, puede crear la métrica aquí mediante una regla de Amazon EventBridge. Para crear una métrica personalizada, realice lo siguiente:
En Metric rule (Regla métrica), para Entity ID (ID de la entidad), ingrese una forma de identificar la entidad. Puede ser un usuario o sesión que realiza una acción que ocasiona que se registre un valor de métrica. Un ejemplo es
userDetails.userID.Para Value key (Clave de valor), ingrese el valor del que se va a realizar el seguimiento para producir la métrica.
Puede optar por ingresar un nombre para las unidades de la métrica. El nombre de esta unidad es solo para fines de visualización, para su uso en gráficos en la consola de Evidently.
Puede utilizar métricas de RUM solo si ha configurado RUM para monitorear esta aplicación. Para obtener más información, consulte CloudWatch RUM.
nota
Si utiliza métricas de RUM y el monitoreo de aplicaciones no está configurado para muestrear el 100 % de las sesiones de usuario, no todas las sesiones de usuario del experimento enviarán métricas a Evidently. Para garantizar que las métricas del experimento sean precisas, recomendamos que en el monitoreo de aplicaciones se utilice el 100 % de las sesiones de usuario para el muestreo.
(Opcional) Para agregar más métricas para evaluar, elija Add metric (Agregar métrica). Puede evaluar un máximo de tres métricas durante el experimento.
(Opcional) Si desea crear alarmas de CloudWatch para utilizarlas con este experimento, elija CloudWatch alarms (Alarmas de CloudWatch). Las alarmas pueden monitorear si la diferencia de resultados entre cada variación y la variación predeterminada es mayor que un umbral especificado. Si el rendimiento de una variación es peor que la variación predeterminada y la diferencia es mayor que su umbral, entrará en estado de alarma y usted recibirá una notificación.
Si crea una alarma en esta etapa, se creará una alarma para cada variación que no sea la variación predeterminada.
Si crea una alarma, especifique lo siguiente:
Para Metric name (Nombre de métrica), elija la métrica del experimento que va a utilizar para la alarma.
Para Alarm condition (Condición de alarma), elija qué condición ocasiona que la alarma entre en estado de alarma, cuando los valores de métrica de variación se comparan con los valores de métrica de variación predeterminados. Por ejemplo, elija Greater (Mayor) o Greater/Equal (Mayor/Igual) si los números más altos de la variación indican que está funcionando mal. Esto sería adecuado, por ejemplo, si la métrica mide el tiempo de carga de la página.
Ingrese un número para el umbral, que es la diferencia porcentual en el rendimiento que ocasionará que la alarma entre en estado de
ALARM(alarma).Para Average over period (Promedio durante el periodo), elija cuántos datos métricos de cada variación se agregan juntos antes de compararlos.
Puede elegir Add new alarm (Agregar nueva alarma) otra vez para agregar más alarmas al experimento.
Luego, elija Set notifications for the alarm (Establecer notificaciones para la alarma) y seleccione o cree un tema de Amazon Simple Notification Service para enviarle notificaciones de alarma. Para obtener más información, consulte Configuración de notificaciones de Amazon SNS.
(Opcional) Para agregar etiquetas a este experimento, elija Tags (Etiquetas), Add new tag (Agregar nueva etiqueta).
Luego, en Key (Clave), ingrese un nombre para la etiqueta. Puede agregar un valor opcional para la etiqueta en Valor.
Para agregar otra etiqueta, vuelva a elegir Add new tag (Agregar nueva etiqueta).
Para obtener más información, consulte Tagging AWS Resources (Etiquetado de recursos de ).
Elija Create experiment (Crear experimento).
Si aún no lo ha hecho, cree las variaciones de la característica en la aplicación.
Seleccione Listo. El experimento no iniciará hasta que lo inicie.
Después de completar los pasos del siguiente procedimiento, el experimento iniciará de forma inmediata.
Para iniciar un experimento que ha creado
Abra la consola de CloudWatch en https://console.aws.amazon.com/cloudwatch/
. En el panel de navegación, elija Señales de aplicación, Evidently.
Elija el nombre del proyecto.
Elija la pestaña Experiments (Experimentos).
Elija el botón situado junto al nombre del experimento y Actions (Acciones), Start experiment (Iniciar experimento).
(Opcional) Para ver o modificar la configuración del experimento que estableció cuando lo creó, elija Experiment setup (Configuración del experimento).
Elija el horario de finalización del experimento.
Elija Start experiment (Iniciar experimento).
El experimento iniciará de forma inmediata.
