建立實驗 - Amazon CloudWatch

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

建立實驗

使用實驗來測試不同版本的功能或網站，並從真實的使用者工作階段收集資料。如此一來，您就可以根據證據和資料為您的應用程式作出選擇。

您必須先建立專案，才能新增實驗。如需詳細資訊，請參閱 建立新專案。

新增實驗時，您可以使用已建立的功能，或在建立實驗時建立新功能。

新增實驗至專案

  1. 在開啟 CloudWatch 主控台https://console.aws.amazon.com/cloudwatch/。

  2. 在導航窗格中，選擇應用程序信號，顯而易見。

  3. 選取專案名稱旁的按鈕，然後選擇 Project actions (專案動作)、Create experiment (建立實驗)。

  4. 對於 Experiment name (實驗名稱)，請輸入用於識別此專案中此功能的名稱。

    您可以選擇新增描述。

  5. 選擇 Select from existing features (從現有功能中選取) 或者 Add new feature (新增功能)。

    如果您正在使用現有功能，請在 Feature name (功能名稱) 下選取。

    如果選擇 Add new feature (新增功能)，則請執行下列動作：

    1. 對於 Feature name (功能名稱)，請輸入用於識別此專案中此功能的名稱。您也可以選擇輸入描述。

    2. 對於 Feature variations (功能變化)，對於 Variation type (變化類型)，請選擇 Boolean (布林型)、Long (長整數)、Double (雙字)，或 String (字串)。類型會定義哪種類型的值用於每個變化。如需詳細資訊，請參閱 變化類型。

    3. 為您的功能新增最多五種變化。每個變化的 Value (值) 必須適用於您選取的 Variation type (變化類型)。

      指定其中一個變化作為預設值。這是比較其他變化的基準線，應該是目前正在為使用者提供服務的變化。如果您停止使用此功能的實驗，則預設變化會依據先前在實驗中的使用者百分比提供。

    4. 選擇 Sample code (範本程式碼)。程式碼範例會顯示您需要新增至應用程式以設定變化和為應用程式指派使用者工作階段的項目。您可以在 Java 和 Python 之間 JavaScript進行選擇作為代碼。

      您現在不需要將程式碼新增至您的應用程式，但必須在開始實驗之前這麼做。如需詳細資訊，請參閱 將程式碼新增至應用程式。

  6. 對於 Audience (受眾)，如果您希望此實驗僅套用至符合該客群的使用者，可決定是否選取您已建立的客群。如需客群的詳細資訊，請參閱 使用客群功能聚焦您的受眾。

  7. 對於 Traffic split for the experiment (適用於實驗的流量分割)，指定將在實驗中使用其工作階段的已選取受眾的百分比。然後將流量配置為實驗所使用的不同變化。

    如果啟動和實驗都在同一時間執行相同功能，受眾會先導向啟動。然後，針對啟動指定的流量百分比取自整體受眾。在此之後，您在此指定的百分比是用於實驗之剩餘受眾的百分比。之後的任何剩餘流量都會提供預設變化。

  8. 對於 Metrics (指標)，選擇要用來評估實驗期間變化的指標。評估至少必須使用一項指標。

    1. 對於量度來源，請選擇要使用 CloudWatch RUM量度還是自訂量度。

    2. 輸入指標的名稱。對於 Goal (目標)，如果您希望指標具有較高的值，以表示較佳的變化，則請選擇 Increase (增加)。如果您想要較低的指標值來表示較好的變化，則請選擇 Decrease (減少)。

    3. 如果您使用自訂指標，則可以在此處使用 Amazon EventBridge 規則建立指標。若要建立自訂指標，請執行下列動作：

      • 在 Metric rule (指標規則) 下，對於 Entity ID (實體 ID)，請輸入識別實體的方法，這可以是執行導致指標值被記錄之動作的使用者或工作階段。例如，userDetails.userID。

      • 對於 Value key (值索引鍵)，輸入要追蹤以產生指標的值。

      • (可選) 輸入指標單位的名稱。此單位名稱僅供顯示用途，用於 Evidently 主控台中的圖形。

      只有在您已設定監督此應用程式時，RUM才能使用RUM指標。如需詳細資訊，請參閱 CloudWatch RUM。

      注意

      如果您使用RUM指標，並且應用程序監視器未配置為 100％ 的用戶會話進行採樣，則並非實驗中的所有用戶會話都將指標發送給 Eviative。為確保實驗指標準確無誤，建議應用程式監控使用 100% 的使用者工作階段進行取樣。

    4. (選用) 若要新增其他要評估的指標，請選擇 Add metric (新增指標)。您可以在實驗期間評估最多三個指標。

  9. （可選）要創建用於此實驗的 CloudWatch 警報，請選擇CloudWatch警報。警示可以監控每個變化和預設變化之間的結果差異是否大於您指定的閾值。如果變化的效能比預設變化差，且差異大於閾值，則會進入警示狀態並通知您。

    在此處建立警示會為每個不是預設變化的變化建立一個警示。

    如果您建立警示，則請指定以下項目：

    • 對於 Metric name (指標名稱)，選擇要用於警示的實驗指標。

    • 對於 Alarm condition (警示條件) 選擇當變化指標值與預設變化指標值進行比較時，哪些條件會導致警示進入警示狀態。例如，選擇 Greater (大於) 或者 Greater/Equal (大於/等於)，如果表示變化的較大數字表示其執行不佳。例如，如果指標正在測量頁面載入時間，則這會適用。

    • 輸入閾值的數字，這是造成警示進入 ALARM 狀態的效能百分比差異。

    • 對於 Average over period (期間內的平均值)，選擇在比較之前會將每個變化的多少指標資料彙總在一起。

    您可以再次選擇 Add new alarm (新增警示)，為實驗新增更多警示。

    接下來，選擇 Set notifications for the alarm (設定警示的通知)，並選取或建立 Amazon Simple Notification Service 主題，以便將警示通知傳送至其中。如需詳細資訊，請參閱 設置 Amazon SNS 通知。

  10. (選用) 若要新增標籤至此實驗，請選擇 Tags (標籤)、Add new tag (新增標籤)。

    之後，在 Key (索引鍵) 中，輸入標籤的名稱。您可以在 Value (值) 中為標籤新增選用值。

    若要新增另一個標籤，請再次選擇 Add new tag (新增標籤)。

    如需詳細資訊，請參閱標記 AWS 資源。

  11. 選擇 Create experiment (建立實驗)。

  12. 如果還沒有，則請將功能變體建置到您的應用程式中。

  13. 選擇完成。在您啟動前，實驗不會開始。

完成下列程序中的步驟後，實驗會立即開始。

開始您已建立的實驗

  1. 在開啟 CloudWatch 主控台https://console.aws.amazon.com/cloudwatch/。

  2. 在導航窗格中，選擇應用程序信號，顯而易見。

  3. 選擇專案的名稱。

  4. 選擇 Experiments (實驗) 索引標籤。

  5. 選擇實驗名稱旁的按鈕，然後選擇 Actions (動作)、Start experiment (開始實驗)。

  6. (選用) 若要檢視或修改建立實驗時所做的實驗設定，請選擇 Experiment setup (實驗設定)。

  7. 選擇實驗結束的時間。

  8. 選擇 Start experiment (開始實驗)。

    實驗會即刻開始。