Criar um experimento
Use experimentos para testar diferentes versões de um recurso ou site e coletar dados de sessões reais do usuário. Dessa forma, é possível fazer escolhas para sua aplicação com base em evidências e dados.
Antes de adicionar um experimento, você deve criar um projeto. Para ter mais informações, consulte Criar um novo projeto da .
Ao adicionar um experimento, você pode usar um recurso que você já criou ou criar um novo recurso ao mesmo tempo em que cria o experimento.
Para adicionar um experimento a um projeto
Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/
. No painel de navegação, escolha Application Signals e, em seguida, Evidently.
Selecione o botão ao lado do nome do projeto e escolha Project actions (Ações do projeto), Create experiment (Criar experimento).
Em Experiment name (Nome do experimento), insira um nome a ser usado para identificar esse recurso neste projeto.
Você pode adicionar uma descrição opcional.
Escolha entre Select from existing features (Selecionar entre os recursos existentes) ou Add new feature (Adicionar novo recurso).
Se você estiver usando um recurso existente, selecione-o em Feature name (Nome do recurso).
Se você escolher Add new feature (Adicionar novo recurso), faça o seguinte:
Em Feature name (Nome do recurso), insira um nome a ser usado para identificar esse recurso neste projeto. Você também pode inserir uma descrição opcional.
Em Feature variations (Variações de recursos), em Variation type (Tipo de variação) escolha Boolean (Booliano), Long (Longo), Double (Duplo), ou String. O tipo define qual tipo de valor é usado para cada variação. Para ter mais informações, consulte Tipos de variação.
Adicione até cinco variações para seu recurso. O Value (Valor) de cada variação deve ser válido para o Variation type (Tipo de variação) que você selecionou.
Especifique uma das variações como padrão. Essa será a linha de base com a qual as outras variações serão comparadas e deve ser a variação que está sendo distribuída aos seus usuários no momento. Se você interromper um experimento que usa esse recurso, a variação padrão será então veiculada para a porcentagem de usuários que estavam no experimento anteriormente.
Escolha Sample code (Código de exemplo). O código de exemplo mostra o que você precisa adicionar à aplicação para configurar as variações e atribuir sessões de usuário a elas. Você pode escolher entre JavaScript, Java e Python para o código.
Não é necessário adicionar o código à sua aplicação neste momento, mas você deve fazê-lo antes de iniciar o experimento. Para ter mais informações, consulte Adicionar código à sua aplicação.
Em Audience (Público), você poderá selecionar um segmento que criou se quiser que esse experimento seja aplicado somente aos usuários que corresponderem a esse segmento. Para obter mais informações sobre segmentos, consulte Usar segmentos para delimitar o público.
Em Traffic split for the experiment (Divisão de tráfego para o experimento), especifique a porcentagem do público selecionado cujas sessões serão usadas no experimento. Em seguida, aloque o tráfego para as diferentes variações utilizadas no experimento.
Se um lançamento e um experimento estiverem sendo executados para um mesmo recurso ao mesmo tempo, o público será direcionado primeiro para o lançamento. Em seguida, a porcentagem de tráfego especificada para o lançamento é retirada do público geral. Depois disso, a porcentagem que você especifica aqui será a porcentagem do público restante usado para o experimento. Qualquer tráfego restante depois disso é recebe a variação padrão.
Em Metrics (Métricas) escolha as métricas a serem usadas para avaliar as variações durante o experimento. É necessário usar pelo menos uma métrica para avaliação.
Em Metric source, (Fonte métrica), escolha se deseja usar métricas RUM do CloudWatch ou métricas personalizadas.
Insira um nome para a métrica. Em Goal (Objetivo), escolha Increase (Aumentar) se você quiser que um valor mais alto de métrica indique uma variação melhor. Escolha Decrease (Diminuir) se você quiser que um valor mais baixo de métrica indique uma variação melhor.
Se você estiver usando uma métrica personalizada, poderá criar a métrica aqui usando uma regra do Amazon EventBridge. Para criar uma métrica personalizada, faça o seguinte:
Em Metric rule (Regra de métrica), em Entity ID (ID da entidade), insira uma maneira de identificar a entidade. Ela pode ser um usuário ou uma sessão que executa uma ação que faz com que um valor de métrica seja registrado. Um exemplo é
userDetails.userID.Em Value key (Valor da chave), insira o valor a ser rastreado para produzir a métrica.
Opcionalmente, insira um nome para as unidades da métrica. Esse nome de unidade é apenas para fins de exibição, para uso em gráficos no console do Evidently.
Você só pode usar métricas do RUM se tiver configurado o RUM para monitorar a aplicação. Para ter mais informações, consulte CloudWatch RUM.
nota
Se você usar métricas do RUM e o monitor de aplicações não estiver configurado para provar 100% das sessões do usuário, nem todas as sessões do usuário no experimento enviarão métricas para o Evidently. Para garantir que as métricas do experimento sejam precisas, recomendamos que o monitor de aplicações use 100% das sessões do usuário para amostragem.
(Opcional) Para adicionar mais métricas para avaliar, escolha Adicionar métrica. Você pode avaliar até três métricas durante o experimento.
(Opcional) Para criar alarmes do CloudWatch para usar com este experimento, escolha CloudWatch alarms (Alarmes do CloudWatch. Os alarmes podem monitorar se a diferença nos resultados entre cada variação e a variação padrão é maior do que um limite especificado por você. Se a performance de uma variação for pior que a variação padrão e a diferença for maior que o limite, ela entrará no estado de alarme e o notificará.
A criação de um alarme aqui cria um alarme para cada variação que não seja a variação padrão.
Se você criar um alarme, especifique o seguinte:
Em Metric name (Nome da métrica), escolha a métrica de experimento a ser usada para o alarme.
Em Alarm condition (Condição de alarme), escolha qual condição irá fazer com que o alarme entre no estado de alarme, quando os valores da métrica de variação são comparados com os valores de métrica de variação padrão. Por exemplo, escolha Greater (Maior) ouGreater/Equal (Maior/igual) se números mais altos indicados para a variação indicarem que ela está com uma má performance. Isso é apropriado caso a métrica esteja medindo o tempo de carregamento da página, por exemplo.
Insira um número para o limite, que é a diferença percentual na performance que fará com que o alarme entre no estado
ALARM.Em Average over period (Média ao longo do período), escolha quantos dados de métrica para cada variação serão agregados juntos antes de serem comparados.
É possível escolher novamente Add new alarm (Adicionar novo alarme) para adicionar mais alarmes ao experimento.
Em seguida, escolha Set notifications for the alarm (Definir notificações para o alarme) e selecione ou crie um tópico do Amazon Simple Notification Service para o qual enviar notificações de alarme. Para obter mais informações, consulte Configurar notificações do Amazon SNS.
(Opcional) Para adicionar tags a esse experimento, escolha Tags (Etiquetas), Add new tag (Adicionar nova etiqueta).
Em seguida, em Key (Chave), insira um nome para a etiqueta. É possível adicionar um valor opcional para a tag em Valor.
Para adicionar outra etiqueta, escolha novamente Add new tag (Adicionar nova etiqueta).
Para obter mais informações, consulte Etiquetar recursos da AWS.
Selecione Create experiment (Criar experimento).
Caso ainda não tenha feito, crie as variantes de recursos na aplicação.
Selecione Done (Concluído). O experimento não começará até você iniciá-lo.
Depois de concluir as etapas no procedimento a seguir, o experimento começa imediatamente.
Para iniciar um experimento que você criou
Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/
. No painel de navegação, escolha Application Signals e, em seguida, Evidently.
Escolha o nome do projeto.
Escolha a guia Experiments (Experimentos).
Escolha o botão ao lado do nome do experimento e escolha Actions (Ações), Start experiment.
(Opcional) Para exibir ou modificar as configurações definidas quando você criou o experimento, escolha Experiment setup (Configuração do experimento).
Escolha um horário de finalização do experimento.
Escolha Start experiment (Iniciar experimento).
O experimento iniciará imediatamente.
