创建实验 - Amazon CloudWatch

创建实验

重要

终止支持通知：2025 年 10 月 16 日，AWS 将停止对 CloudWatch Evidently 的支持。2025 年 10 月 16 日之后，您将无法再访问 Evidently 控制台或 Evidently 资源。

使用实验来测试功能或网站的不同版本，并从真实用户会话中收集数据。这样，您便可以根据证据和数据为应用程序做出选择。

在添加实验之前，您必须创建项目。有关更多信息，请参阅 创建新 项目。

添加实验时，您可以使用已创建的功能，或在创建实验时创建新功能。

向项目添加实验

  1. 访问 https://console.aws.amazon.com/cloudwatch/ 打开 CloudWatch 控制台。

  2. 在导航窗格中，选择 Application Signals、Evidently。

  3. 选择项目名称旁边的按钮，然后选择 Project actions（项目操作）、Create experiment（创建实验）。

  4. 对于 Experiment name（实验名称），输入用于标识此项目中此功能的名称。

    您也可以添加描述。

  5. 选择 Select from existing features（从现有功能中选择）或者 Add new feature（添加新功能）。

    如果您使用的是现有功能，请在 Feature name（功能名称）下进行选择。

    如果您选择 Add new feature（添加新功能），请执行以下操作：

    1. 对于 Feature name（功能名称），输入用于标识此项目中此功能的名称。您也可以选择输入描述。

    2. 对于 Feature variations（功能变体）和 Variation type（变体类型），请选择 Boolean、Long（长整数）、Double（双精度）或者 String（字符串）。该类型定义了每个变体使用哪种类型的值。有关更多信息，请参阅 变体类型。

    3. 最多可向功能添加五个变体。每个变体的 Value（值）必须对您选择的 Variation type（变体类型）有效。

      指定其中一个变体作为默认变体。这是将与其他变体进行比较的基准，并且应作为现在向用户提供的变体。如果您停止使用此功能的实验，则将向之前参加实验的用户百分比提供该默认变体。

    4. 请选择 Sample code（示例代码）。此代码示例显示了为设置变体并为其分配用户会话，您需要添加到应用程序中的内容。您可以在 JavaScript、Java 和 Python 之间选择代码。

      您现在无需将代码添加到应用程序中，但必须在开始实验之前添加。有关更多信息，请参阅 将代码添加到应用程序。

  6. 对于 Audience（受众），如果您希望此实验仅应用于与该细分匹配的用户，则可以选择您已创建的细分。有关细分的更多信息，请参阅 使用细分来聚焦受众。

  7. 对于 Traffic split for the experiment（实验的流量拆分），指定将在实验中使用会话的选定受众的百分比。然后为实验使用的不同变体分配流量。

    如果同一功能同时运行启动和实验，会将受众首先引至启动。然后，总体受众会产生为启动指定的流量百分比。您在此处指定的百分比是用于实验的剩余受众的百分比。将向之后的任何剩余流量提供默认变体。

  8. 对于 Metrics（指标），请选择用于评估实验期间变体的指标。必须使用至少一个指标进行评估。

    1. 对于 Metric source（指标来源），请选择使用 CloudWatch RUM 指标或自定义指标。

    2. 输入指标的名称。对于 Goal（目标），如果您希望表示变体更好的指标值较高，请选择 Increase（增加）。如果您希望表示变体更好的指标值较低，请选择 Decrease（减少）。

    3. 如果您正在使用自定义指标，可以使用 Amazon EventBridge 规则在此创建指标。要创建自定义指标，请执行以下操作：

      • 对于 Entity ID（实体 ID），请在 Metric rule（指标规则）下输入标识实体的方法，这可以是执行导致记录指标值的操作的用户或会话。例如，userDetails.userID。

      • 对于 Value key（值键），请输入要跟踪以生成指标的值。

      • 您也可以选择输入指标的单位名称。这个用于 Evidently 控制台中图表的单位名称仅供显示之用。

      仅当已设置 RUM 以监控此应用程序时，才能使用 RUM 指标。有关更多信息，请参阅 CloudWatch RUM。

      注意

      如果您使用 RUM 指标，并且应用程序监控未配置为对 100% 的用户会话进行采样，则并非实验中的所有用户会话都会将指标发送给 Evidently。为确保实验指标准确无误，我们建议应用程序监控使用 100％ 的用户会话进行采样。

    4. （可选）要添加更多要评估的指标，请选择 Add metric（添加指标）。在实验期间，您可以评估多达三个指标。

  9. （可选）要创建用于此实验的 CloudWatch 告警，请选择 CloudWatch alarms（CloudWatch 告警）。告警可以监控每个变体与默认变体之间的结果差异是否大于您指定的阈值。如果变体的性能比默认变体差，且差异大于阈值，便会进入告警状态并通知您。

    在此处创建告警意味着为每个非默认变体的变体创建告警。

    如果您创建告警，请指定以下内容：

    • 对于 Metric name（指标名称），请选择要用于告警的实验指标。

    • 对于 Alarm condition（告警状态），当变体指标值与默认变体指标值进行比较时，请选择引发告警进入告警状态的条件。例如，如果数字较大表示变体的性能不佳，请选择 Greater（更大）或 Greater/Equal（更大/等于）。例如，如果指标用于测量页面加载时间，此选项会非常合适。

    • 输入阈值数字，这是会引发告警进入 ALARM 状态的性能差异百分比。

    • 对于 Average over period（期间内的平均值），选择比较之前每个变体的指标数据聚合数量。

    您可以再次选择 Add new alarm（添加新告警），以向实验添加更多告警。

    下一步，选择 Set notifications for the alarm（设置告警通知），然后选择或创建用于向其发送告警通知的 Amazon Simple Notification Service 主题。有关更多信息，请参阅 设置 Amazon SNS 通知。

  10. （可选）要向此实验添加标签，请选择 Tags（标签）、Add new tag（添加新标签）。

    然后，对于 Key（键），输入标签的名称。您可以在 Value (值) 中添加可选的标签值。

    要添加其他标签，请再次选择 Add new tag（添加新标签）。

    有关更多信息，请参阅标记 AWS 资源。

  11. 选择 Create experiment (创建实验)。

  12. 如果您尚未执行，请将功能变体构建到应用程序中。

  13. 选择完成。只有您将其启动，实验才会开始。

完成以下过程中的步骤后，实验会立即开始。

开始进行已创建的实验

  1. 访问 https://console.aws.amazon.com/cloudwatch/ 打开 CloudWatch 控制台。

  2. 在导航窗格中，选择 Application Signals、Evidently。

  3. 请选择项目名称。

  4. 请选择 Experiments（实验）选项卡。

  5. 选择实验名称旁边的按钮，然后依次选择 Actions（操作）、Start experiment（开始实验）。

  6. （可选）要查看或修改创建实验设置时指定的实验设置，请选择 Experiment setup（实验设置）。

  7. 请选择实验结束的时间。

  8. 请选择 Start experiment（开始实验）。

    实验会立即开始。