使用A/B測試測量建議影響 - Amazon Personalize
A/B測試最佳實踐

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用A/B測試測量建議影響

執行 A/B 測試包括運行具有多個變體的實驗並比較結果。使用 Amazon Personalize 建議執行 A/B 測試涉及顯示不同的使用者群組不同類型的建議，然後比較結果。您可以使用 A/B 測試來協助比較和評估不同的建議策略，並評估建議的影響。

例如，您可以使用 A/B 測試來查看 Amazon Personalize 建議是否會提高點閱率。若要測試這個案例，您可能會顯示一組非個人化的使用者建議，例如精選產品。您可能會顯示由 Amazon Personalize 化生成的另一個組個性化建議。當您的客戶與項目互動時，您可以記錄結果並查看哪種策略以最高的點擊率產生。

使用 Amazon Personalize 建議執行 A/B 測試的工作流程如下：

  1. 計劃您的實驗 — 定義可量化的假設，確定業務目標，定義實驗變化並確定實驗時間範圍。

  2. 拆分用戶 — 使用控制組和一個或多個實驗組將用戶拆分為兩個或多個組。

  3. 執行您的實驗 — 顯示實驗群組中修改過的建議的使用者。在不變更的情況下顯示控制群組建議中的使用者。透過建議記錄他們的互動，以追蹤結果。

  4. 評估結果 — 分析實驗結果，以確定修改是否對實驗組產生了統計學上的顯著差異。

您可以使用 Amazon CloudWatch 顯而易見地使用 Amazon Personalize 化建議執行 A/B 測試。 CloudWatch 顯然，您可以定義實驗、追蹤關鍵績效指標 (KPIs)、將建議請求流量路由到相關的 Amazon Personalize 資源，以及評估實驗結果。如需詳細資訊，請參閱A/B測試顯示 CloudWatch 性。

主題

A/B測試最佳實踐

使用下列最佳實務來協助您設計和維護 Amazon Personalize 建議的 A/B 測試。

  • 確定可量化的業務目標。確認您要比較的不同建議與此業務目標一致，且與不同或不可量化的目標無關。

  • 定義與您的業務目標一致的量化假設。舉例來說，您可能會預測自訂內容的促銷活動，這些項目會增加 20% 的點擊次數。您的假設決定了您對實驗組進行的修改。

  • 定義與您的假設相關的關鍵績效指標 (KPIs)。你用KPIs來衡量你的實驗的結果。這些可能是以下內容：

    • 點擊率

    • 觀看時間

    • 總價

  • 根據您的假設，驗證實驗中的用戶總數是否足以達到具有統計意義的結果。

  • 在開始實驗之前定義流量拆分策略。避免在實驗運行時更改流量拆分。

  • 除了與實驗相關的修改（例如模型）之外，您的實驗組和對照組都保持相同的應用程序或網站的用戶體驗。使用者體驗的變化 (例如 UI 或延遲) 可能會導致誤導結果。

  • 控制外部因素，例如假日，持續的營銷活動和瀏覽器限制。這些外部因素可能導致誤導結果。

  • 除非與您的假設或業務需求直接相關，否則請避免變更 Amazon Personalize 建議。套用篩選器或手動變更順序之類的變更可能會導致誤導結果。

  • 評估結果時，請確保結果在得出結論之前在統計上具有重要意義。行業標準是 5％ 的意義水平。