CloudWatch Evidently での A/B テスト

Amazon Personalize と CloudWatch Evidently で A/B テストを実行するには

1. CloudWatch Evidently プロジェクトを作成します。プロジェクトはリソースの論理グループです CloudWatch 。プロジェクト内では、テストまたは起動をするバリエーションがある機能を作成します。手順については step-by-step、「Amazon CloudWatch ユーザーガイド」の「新しいプロジェクトの作成」を参照してください。

2. プロジェクトに機能を追加し、そのバリエーションを定義します。この実験では、機能はクリック率など、テストしたいレコメンデーションのシナリオを表す必要があります。

   機能を追加する際は、シナリオのさまざまなバリエーションを Amazon Personalize レコメンダーまたはカスタムキャンペーンにマッピングするための識別子を指定します。バリエーションごとに、文字列などのバリエーションタイプを指定し、バリエーションに名前を付けて値を指定します。

   実験を実行すると、アプリケーションはバリエーションの値を使用して、レコメンデーションに使用する Amazon Personalize リソースを決定します。例えば、2 つの VIDEO_ON_DEMAND レコメンダーをテストする場合、1 つは上位のおすすめユースケース用に作成され、もう 1 つはトレンドの現在ユースケース用に作成されています。次に、各バリエーションの値JSONとして を設定します。

   {"type":"top-picks-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/top-picks-recommender"}

   {"type":"trending-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/trending-now-recommender"}

   アプリケーションがその識別子を使用して関連するリソースを識別できるのであれば、どのような識別子を指定してもかまいません。例えば、レコメンダーまたはキャンペーンの名前のみを指定し、アプリケーションでリソースの Amazon リソースネーム (ARN) を作成できます。

   機能を追加する手順については step-by-step、「Amazon CloudWatch ユーザーガイド」の「プロジェクトに機能を追加する」を参照してください。

3. 実験をサポートするようにアプリケーションを更新します。

   • 機能評価 – CloudWatch Evidently EvaluateFeatureAPIオペレーションを使用して、各ユーザーセッションにバリエーションを割り当てます。EvaluateFeatureレスポンスには、前のステップで指定したバリエーション値が含まれます。この場合、レコメンダーのタイプが のJSONオブジェクトであり、レコメンダーARNの です。レコメンデーションリクエストコードを更新して、このリソースからレコメンデーションを取得します。

     機能の評価の詳細については、「Amazon CloudWatch ユーザーガイド」の「 の使用 EvaluateFeature」を参照してください。

   • 結果を記録する — ユーザーによるレコメンデーションと操作の結果を追跡するコードをアプリケーションに追加します。

     CloudWatch Evidently で実験のメトリクスを追跡するには、 CloudWatch Evidently PutProjectEventsAPIオペレーションを使用して各ユーザーの結果を記録します。例えば、実験のユーザーが推奨アイテムをクリックした場合、このイベントの詳細を CloudWatch Evidently に送信します。

     CloudWatch Evidently にイベントを送信する方法については、「Amazon CloudWatch ユーザーガイド」の「 の使用 PutProjectEvents」を参照してください。

     Amazon Personalize のレコメンデーションの関連性を向上させるには、Amazon Personalize PutEventsAPIオペレーションを使用して結果イベントを記録できます。ドメインのユースケースまたはカスタムレシピでレコメンデーションのリアルタイム更新がサポートされている場合、Amazon Personalize はユーザーの最新のアクティビティから学習し、ユーザーがアプリケーションを使用するごとにレコメンデーションを更新します。更新をサポートしていない場合、Amazon Personalize は次回のモデル再トレーニング時にこのデータを使用するため、レコメンデーションに影響します。

     Amazon Personalize へのイベントのストリーミングについては、「レコメンデーションに影響を与えるリアルタイムイベントの記録」を参照してください。

4. 実験を作成および開始します。実験を作成する際には、以下を指定できます。

   • 機能 — 実験でテストする機能を選択します。

   • 対象者 — 参加するユーザーの数と、機能のバリエーション間でトラフィックを分割する方法を設定します。

   • 指標 — 実験の成功を左右する指標を指定します。例えば、クリック数があります。

   実験の作成が完了したら、その期間を指定して実験を開始します。 CloudWatch Evidently step-by-stepで実験を作成して開始する手順については、「Amazon CloudWatch ユーザーガイド」の「実験を作成する」を参照してください。

5. 実験を実行すると、 CloudWatch Evidently 実験ダッシュボードで結果を表示できます。実験結果の表示については、「Amazon CloudWatch ユーザーガイド」の「ダッシュボードで実験結果を表示する」を参照してください。