将代码添加到应用程序 - Amazon CloudWatch
使用 EvaluateFeature使用 PutProjectEvents

将代码添加到应用程序

要使用 CloudWatch Evidently，您可以将代码添加到应用程序添，以向每个用户会话分配变体，并将指标发送到 Evidently。使用 CloudWatch Evidently EvaluateFeature 操作将变体分配给用户会话，然后使用 PutProjectEvents 操作将事件发送到 Evidently，用于计算启动或实验的指标。

当您创建变体或自定义指标时，CloudWatch Evidently 控制台会提供需要添加的代码示例。

有关端到端示例的信息，请参阅 教程：使用 Evidently 示例应用程序进行 A/B 测试。

使用 EvaluateFeature

在启动或实验中使用功能变体时，应用程序会使用 EvaluateFeature 操作为每个用户会话分配一个变体。将变体分配给用户即为评估事件。如果您调用此操作，会传递以下内容：

  • Feature name（功能名称）– 必填。Evidently 会根据启动或实验的功能评估规则进行评估，并为实体选择变体。

  • entityId – 必填。表示唯一的用户。

  • evaluationContext – 可选。一个 JSON 对象，表示有关用户的其他信息。如果您已经创建了细分，Evidently 会使用此值在功能评估期间将用户与受众细分匹配。有关更多信息，请参阅 使用细分来聚焦受众。

    下面是您可以发送至 Evidently 的 evaluationContext 值的示例。

    {
    "Browser": "Chrome",
    "Location": {
        "Country": "United States",
        "Zipcode": 98007
    }
}

粘性评估

CloudWatch Evidently 使用“粘性”评估。entityId 的单个配置、功能、功能配置 和 evaluationContext 始终会接收相同的变体分配。此变体分配仅在实体添加到覆盖或实验流量增加时更改。

功能配置包括以下内容：

  • 功能变体

  • 此功能当前运行的实验的变体配置（分配给每个变体的百分比）（如果有）。

  • 此功能当前运行的启动的变体配置（如果有）。变体配置包括定义的区段覆盖（如果有）。

如果增加实验的流量分配，则之前分配给实验处理组的所有 entityId 都将继续接受相同的处理。根据为实验指定的变体配置，之前分配给对照组的所有 entityId 都可能被分配到实验处理组。

如果减少实验的流量分配，则 entityId 可能会从处理组转移到对照组，但不会进入不同的处理组。

使用 PutProjectEvents

要为 Evidently 编写自定义指标，请使用 PutProjectEvents 操作。以下是一个简单的有效负载示例。

{
    "events": [
        {
            "timestamp": {{$timestamp}},
            "type": "aws.evidently.custom",
            "data": "{\"details\": {\"pageLoadTime\": 800.0}, \"userDetails\": {\"userId\": \"test-user\"}}"
        }
    ]
}

entityIdKey 可以只是 entityId，您也可以将其重命名为其他任何名称，例如 userId。在实际事件中，entityId 可以是用户名、会话 ID 等等。

"metricDefinition":{
    "name": "noFilter",
    "entityIdKey": "userDetails.userId", //should be consistent with jsonValue in events "data" fields
    "valueKey": "details.pageLoadTime"
},

为了确保事件与正确的启动或实验相关联，您必须在调用 EvaluateFeature 和 PutProjectEvents 时传递相同的 entityId。请务必在调用 EvaluateFeature 之后调用 PutProjectEvents，否则数据会丢弃，并且 CloudWatch Evidently 不会使用。

PutProjectEvents 操作不要求将功能名称作为输入参数。这样一来，您可在多个实验中使用一个事件。例如，假设您调用 EvaluateFeature 并将 entityId 设置为 userDetails.userId。如果您有两个或更多运行中的实验，则可以从该用户的会话中获得单个事件，并为每个这些实验发出指标。为此，使用相同的 entityId 为每个实验调用一次 PutProjectEvents。

Timing

在应用程序调用 EvaluateFeature 之后，有一个小时的时间段，其中根据该评估限制来自 PutProjectEvents 的指标事件。如果在一小时之后发生了更多的事件，则不会限制这些事件。

但是，如果在初始调用的一小时时段内将相同的 entityId 用于新 EvaluateFeature 调用，则现在改为使用后一个 EvaluateFeature 的结果，并重新启动一个小时的计时器。仅在某些情况下才会发生此操作，例如在两此分配之间增加实验流量时，如前面的粘性评估部分所解释。

有关端到端示例的信息，请参阅 教程：使用 Evidently 示例应用程序进行 A/B 测试。