建立陰影測試 - Amazon SageMaker AI
必要條件輸入陰影測試詳細資訊 輸入陰影測試設定

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

建立陰影測試

您可以建立陰影測試，來比較陰影變體與生產變體的效能。您可以在提供推論請求的現有端點上執行測試，也可以建立要在其上執行測試的新端點。

若要建立陰影測試，則必須指定以下內容：

  • 接收並回應 100% 傳入推論請求的生產變體。

  • 陰影變體，可接收一定百分比的傳入請求 (從生產變體複寫而來，但不會傳回任何回應)。

對於每個變體，您可以使用 SageMaker AI 來控制模型、執行個體類型和執行個體計數。您可以設定傳入請求的百分比，稱為流量取樣百分比，而您要將其複寫至陰影變體。 SageMaker AI 會管理對陰影變體的請求複寫，而且您可以在測試排程或執行時修改流量取樣百分比。也可以選擇性地開啟資料擷取，以記錄生產和陰影變體的請求及回應。

注意

SageMaker AI 每個端點最多支援一個陰影變體。對於具有陰影變體的端點，最多可以有一個生產變體。

您可以將測試安排在任何時間開始，並在指定的持續時間內繼續。預設持續時間為 7 天，最長可達 30 天。測試完成後，端點會還原到開始測試之前的狀態。這樣一來，可確保您不必在測試完成時手動清除資源。

您可以在 SageMaker AI 主控台中監控透過儀表板執行的測試。儀表板會提供生產與陰影變體之間調用指標和執行個體指標的並列比較，以及具有相關指標統計資料的表格式檢視。此儀表板也可用於已完成的測試。檢閱指標後，您可以選擇將陰影變體提升為新的生產變體，或保留現有的生產變體。一旦提升了陰影變體，它會回應所有傳入的請求。如需詳細資訊，請參閱升級陰影變體。

下列程序說明如何透過 SageMaker AI 主控台建立陰影測試。取決於您要使用現有端點還是為陰影測試建立新端點，工作流程將有所不同。

必要條件

使用 SageMaker AI 主控台建立陰影測試之前，您必須有 AI SageMaker 模型可供使用。如需如何建立 SageMaker AI 模型的詳細資訊，請參閱部署模型以進行即時推論。

您可以使用具有生產變體和陰影變體的現有端點、僅具有生產變體的現有端點，或僅您想要比較的 SageMaker AI 模型，來開始使用陰影測試。陰影測試支援在測試開始之前建立端點並新增變體。

注意

某些端點功能可能會讓您的端點與陰影測試不相容。如果您的端點使用下列任何功能，您就無法在端點上使用陰影測試，而且設定陰影測試的請求將導致驗證錯誤。

  • 無伺服器推論

  • 非同步推論

  • Marketplace 容器

  • 多容器端點

  • 多模型端點

  • 使用 Inf1 (推論型) 執行個體的端點

輸入陰影測試詳細資訊

若要開始建立陰影測試，請執行下列動作並填寫 Enter shadow test details (輸入陰影測試詳細資訊) 頁面：

  1. 開啟 SageMaker AI 主控台。

  2. 在左側導覽面板中，選擇 Inference (推論)，然後選擇 Shadow tests (陰影測試)。

  3. 選擇 Create shadow test (建立陰影測試)。

  4. 在 Name (名稱) 底下，輸入測試的名稱。

  5. (選用) 在 Description (說明) 底下，輸入測試的說明。

  6. (選用) 使用鍵和值對指定標籤。

  7. 選擇 Next (下一步)。

輸入陰影測試設定

填寫 Enter shadow test details (輸入陰影測試詳細資訊) 頁面後，再填妥 Enter shadow test settings (輸入陰影測試設定) 頁面。如果您已有 SageMaker AI 推論端點和生產變體，請遵循使用現有的端點工作流程。若尚未有端點，請遵循建立新的端點工作流程。

Use an existing endpoint

如想使用現有端點進行測試，請執行下列動作並填妥 Enter shadow test settings (輸入陰影測試設定) 頁面：

  1. 選擇已連接AmazonSageMakerFullAccessIAM政策的角色。

  2. 選擇 Use an existing endpoint (使用現有端點)，然後選擇其中一個可用端點。

  3. （選用） 若要加密端點上的儲存磁碟區，請選擇現有的KMS金鑰，或從加密KMS金鑰下的下拉式清單中選擇輸入ARN金鑰。如果您選擇第二個選項，ARN則會出現要輸入KMS金鑰的欄位。在該ARN欄位中輸入 KMS金鑰。

  4. 如果該端點背後有多個生產變體，請移除您不想用於測試的生產變體。您可以選取模型變體，然後選擇 Remove (移除) 來移除模型變體。

  5. 若尚未有陰影變體，請新增陰影變體。如要新增陰影變體，請執行下列動作：

    1. 選擇新增。

    2. 選擇 Shadow variant (陰影變體)。

    3. 在 Add model (新增模型) 對話方塊中，選擇您要用於陰影變體的模型。

    4. 選擇 Save (儲存)。

  6. (選用) 在上一個步驟中，陰影變體會以預設設定新增。若要修改這些設定，請選取陰影變體，然後選擇 Edit (編輯)。Edit shadow variant (編輯陰影變體) 對話方塊會隨即顯示。若要取得如何填寫此對話方塊的詳細資訊，請參閱編輯陰影測試。

  7. 在 Schedule (排程) 區段中執行下列動作，並輸入測試的持續時間：

    1. 選擇 Duration (持續時間) 底下的方塊。畫面會顯示快顯行事曆。

    2. 從行事曆中選取開始日期與結束日期，或分別在開始與結束日期欄位中輸入 Start date (開始日期) 和 End date (結束日期)。

    3. (選用) 在 Start time (開始時間) 和 End time (結束時間) 欄位中，分別以 24 小時格式輸入開始和結束時間。

    4. 選擇套用。

    最短持續時間為 1 小時，最長持續時間為 30 天。

  8. (選用) 開啟 Enable data capture (啟用資料擷取)，以將端點的推論請求和回應資訊儲存到 Amazon S3 儲存貯體，然後輸入 Amazon S3 儲存貯體的位置。

  9. 選擇 Create shadow test (建立陰影測試)。

Create a new endpoint

若沒有現有端點，或想要為測試建立新的端點，請執行下列動作，並填妥 Enter shadow test settings (輸入陰影測試設定) 頁面：

  1. 選擇已連接AmazonSageMakerFullAccessIAM政策的角色。

  2. 選擇 Create a new endpoint (建立新的端點)。

  3. 在 Name (名稱) 底下，輸入端點的名稱。

  4. 向端點新增一個生產變體和一個陰影變體：

    • 若要新增生產變體，請選擇 Add (新增)，然後選擇 Production variant (生產變體)。在 Add model (新增模型) 對話方塊中，選擇您要用於生產變體的模型，然後選擇 Save (儲存)。

    • 若要新增陰影變體，請選擇 Add (新增)，然後選擇 Shadow variant (陰影變體)。在 Add model (新增模型) 對話方塊中，選擇您要用於陰影變體的模型，然後選擇 Save (儲存)。

  5. (選用) 在上一個步驟中，陰影變體會以預設設定新增。若要修改這些設定，請選取陰影變體，然後選擇 Edit (編輯)。Edit shadow variant (編輯陰影變體) 對話方塊會隨即顯示。若要取得如何填寫此對話方塊的詳細資訊，請參閱編輯陰影測試。

  6. 在 Schedule (排程) 區段中執行下列動作，並輸入測試的持續時間：

    1. 選擇 Duration (持續時間) 底下的方塊。畫面會顯示快顯行事曆。

    2. 從行事曆中選取開始與結束日期，或在 Start date (開始日期) 和 End date (結束日期) 底下分別輸入開始與結束日期。

    3. (選用) 在 Start time (開始時間) 和 End time (結束時間) 底下，分別以 24 小時格式輸入開始和結束時間。

    4. 選擇套用。

    最短持續時間為 1 小時，最長持續時間為 30 天。

  7. (選用) 開啟 Enable data capture (啟用資料擷取)，以將端點的推論請求和回應資訊儲存到 Amazon S3 儲存貯體，然後輸入 Amazon S3 儲存貯體的位置。

  8. 選擇 Create shadow test (建立陰影測試)。

完成上述程序之後，您現在應排定在指定的開始日期和時間展開測試。您可以從儀表板檢視測試進度。如需如何檢視測試及可執行的動作之詳細資訊，請參閱如何檢視、監控和編輯陰影測試。