CloudWatch Evidently での起動と A/B 実験を実行する

Amazon CloudWatch Evidently を使用すると、機能のロールアウト中に、新しい機能を指定した割合のユーザーに提供することによって安全に検証できます。新機能のパフォーマンスをモニターリングすると、ユーザーへのトラフィックを増やしていくタイミングを決定するのに役立ちます。こうすれば、機能を完全に起動する前に、リスクを軽減し、意図しない結果を明確化できます。

また、A/B 実験を実行して、証拠とデータに基づいて機能の設計を決定することもできます。実験では、一度に最大 5 つのバリエーションをテストできます。Evidently では、実験データを収集し、統計的手法を用いて分析します。また、どのバリエーションが優れているかについて、明確なレコメンデーションを提供します。ユーザー向け機能とバックエンド機能の両方をテストできます。

Evidently の料金

Evidently イベントと Evidently 分析ユニットに基づいて、アカウントに課金されます。Evidently イベントには、クリックやページビューなどのデータイベントと、ユーザーに提供する機能のバリエーションを決定する割り当てイベントが含まれます。

Evidently 分析ユニットは、Evidently で作成したルールに基づいて、Evidently イベントから生成されます。分析ユニットは、イベントのルールとの一致の数です。例えば、ユーザーのクリックイベントで、1 つの Evidently 分析ユニット (クリック数) が生成される場合があります。もう 1 つの例は、ユーザーのチェックアウトイベントで、チェックアウト値とカート内のアイテム数という 2 つの Evidently 分析ユニットが生成される場合があります。料金の詳細については、「Amazon CloudWatch の料金」を参照してください。

CloudWatch Evidently は現在、以下のリージョンで利用できます。