管理您的端點 - Amazon SageMaker
在 SageMaker 工作室中管理端點在 SageMaker 主控台中管理端點

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

管理您的端點

將模型部署到端點後，您可能需要檢視和管理端點。您可以使用 SageMaker此功能檢視端點的狀態和詳細資料、查看指標和記錄以監控端點效能、更新部署到端點的模型等。

以下頁面說明如何使用 Amazon SageMaker 主控台或 SageMaker Studio 以互動方式檢視端點並進行變更。

在 SageMaker 工作室中管理端點

在 Amazon SageMaker 工作室中，您可以查看和管理 SageMaker 託管端點。要進一步了解工作室，請參閱 Amazon SageMaker 工作室。

要在 SageMaker Studio 中查找端點列表，請執行以下操作：

  1. 開啟工作室應用程式。

  2. 在左側導覽窗格中，選擇「部署」。

  3. 從下拉式功能表中選擇「端點」。

「端點」頁面隨即開啟，其中列出所有 SageMaker 主機端點。您可以從此頁面查看端點及其狀態。您也可以建立新端點、編輯現有端點或刪除端點。

若要查看特定端點的詳細資料，請從清單中選擇端點。在端點的詳細信息頁面上，您將獲得類似以下屏幕截圖的概述。

端點主頁面的屏幕截圖，顯示 Studio 中端點詳細信息的摘要。

每個端點詳細資料頁面都包含下列資訊索引標籤：

變體（或型號）

「變體」標籤（如果您的端點部署了多個模型，也稱為「模型」索引標籤）會顯示目前部署到端點的模型變體或模型清單。下列螢幕擷取畫面顯示部署了多個模型的端點，「概觀」和「模型」區段的外觀。

端點主頁面的螢幕擷取畫面，顯示部署多個模型。

您可以新增或編輯每個變體或模型的設定。您也可以選取變體並啟用預設的 auto-scaling 政策，您可以稍後在「自動調整規模」索引標籤中進行編輯。

設定

在「設定」索引標籤上，您可以檢視端點關聯的 AWS IAM 角色、用於加密的 AWS KMS 金鑰 (如果適用)、VPC 名稱以及網路隔離設定。

測試推論

在 [測試推論] 索引標籤上，您可以將測試推論要求傳送至已部署的模型。如果您想驗證端點是否按預期回應請求，此功能非常有用。

若要測試推論，請執行下列動作：

  1. 在模型的「測試推論」標籤上，選擇下列其中一個選項：

    1. 如果您想要測試端點並透過 Studio 介面接收回應，請選取 [輸入要求主體]。

    2. 如果您想要複製可用來從本機環境叫用端點並以程式設計方式接收回應的 AWS SDK for Python (Boto3) 範例，請選取 [複製範例程式碼 (Python)]。

  2. 對於「模型」，選取要在端點上測試的模型。

  3. 如果您選擇了 Studio 介面測試方法，那麼您也可以從下拉式清單中選擇所需的內容類型作為回應。

配置請求後，您可以選擇發送請求（通過 Studio 接口接收響應）或複製複製 Python 示例。

如果您通過 Studio 接口收到響應，它看起來像下面的屏幕截圖。

Studio 中端點上成功推論測試要求的螢幕擷取畫面。

自動調整規模

在「自動調整規模」索引標籤上，您可以檢視為端點上託管的模型設定的任何自動調整規模政策。下列螢幕擷取畫面顯示 [自動縮放] 索引標籤。

自動調整規模索引標籤的螢幕擷取畫面，顯示一個作用中

您可以選擇 [編輯 auto-scaling] 來變更任何原則，以及開啟或關閉預設的 auto-scaling 政策。

若要進一步了解即時端點的 auto-scaling 規模，請參閱自動擴展 Amazon SageMaker 模型。如果您不確定如何為端點設定自動調度資源規模政策，可以使用推論推薦程式自動調度資源建議工作來取得自動調度資源政策的建議。

在 SageMaker 主控台中管理端點

若要在 SageMaker 主控台中檢視端點，請執行下列動作：

  1. 前往 SageMaker 主控台，網址為 https://console.aws.amazon.com/sagemaker/。

  2. 在左側導覽窗格中，選擇推論。

  3. 從下拉式清單中，選擇端點。

  4. 在端點頁面，選擇您的端點。

端點詳細資訊頁面應會開啟，並顯示已為您的端點收集的端點和指標摘要。

下列各節說明端點詳細資訊頁面上的標籤。

監控

建立 SageMaker 託管端點後，您可以使用 Amazon 監控端點 CloudWatch，Amazon 會收集原始資料並將其處理為可讀且接近即時的指標。使用這些指標，您可以存取歷史資訊，並更加了解端點的執行狀況。如需詳細資訊，請參閱 Amazon CloudWatch 使用者指南。

您可以從端點詳細資料頁面的「監控」索引 CloudWatch 標籤檢視從端點收集的指標資料。

監控索引標籤包含下列區段：

  • 操作指標：查看用於追蹤端點資源使用率的指標，例如 CPU 利用率和記憶體使用率。

  • 調用指標：檢視追蹤傳送到端點的 InvokeEndpoint 請求數量、運作狀態和狀態的指標，例如「調用模型錯誤」和「模型延遲」。

  • 運作狀態指標：檢視追蹤端點整體運作狀態的指標，例如「調用失敗」和「通知失敗」。

如需每個測量結果的詳細說明，請參閱監視方 SageMaker 式 CloudWatch。

下列螢幕擷取畫面顯示無伺服器端點的操作指標區段。

端點詳細資訊頁面的操作指標區段中的指標圖螢幕擷取畫面。

您可以針對指定區段中的指標調整要追蹤的期間和統計資料，以及要檢視指標資料的時間長度。您也可以選擇新增小工具，在每個區段的檢視中新增和移除指標小工具。在新增小工具對話方塊中，您可以選取並取消選取要查看的指標。

可用的指標可能取決於您的端點類型。例如，無伺服器端點具有一些無法用於即時端點的指標。如需端點類型的特定指標資訊，請參閱以下頁面：

設定

您可以選擇設定索引標籤來檢視有關端點的其他資訊，例如資料擷取設定、端點組態和標籤。

警示

您可以在端點詳細資訊頁面上的 [警示] 索引標籤中檢視和建立簡單的靜態臨界值量度警示，並在其中指定測量結果的臨界值。如果指標違反閾值，警示就會進入 ALARM 狀態。如需有關 CloudWatch 警示的詳細資訊，請參閱使用 Amazon CloudWatch 警示。

在端點摘要區段中，您可以檢視警示欄位，告訴您端點上目前有多少警示處於啟用狀態。

若要檢視處於該 ALARM 狀態的警示，請選擇警示索引標籤。警示索引標籤顯示端點警示的完整清單，以及其狀態和條件的詳細資訊。下列螢幕擷取畫面顯示此區段中已針對端點設定的警示清單。

端點詳細資料頁面上警示索引標籤的螢幕擷取畫面，其中會顯示 CloudWatch 警示清單。

警示狀態可以是 In alarm、OK，或者 Insufficient data (如果收集的指標資料不足)。

若要為您的端點建立新警示，請執行以下動作：

  1. 在警示索引標籤中，選擇建立警示。

  2. 建立警示頁面隨即開啟。對於 Alarm name (警示名稱)，輸入警示的名稱。

  3. (選用) 輸入警示的說明。

  4. 在「度量」中，選擇您要警示追蹤的 CloudWatch 量度。

  5. 對於變體名稱，選擇您要監視的端點模型變體。

  6. 對於統計資料，選擇所選指標的其中一個可用統計資料。

  7. 對於期間，選擇用於計算每個統計資料值的時段。例如，如果您選擇「平均值」統計資料和 5 分鐘的期間，則警示監控的每個資料點就是每 5 分鐘間隔的指標資料點平均值。

  8. 對於評估期間，請輸入您要在評估是否進入警示狀態時要考量警示的資料點數量。

  9. 對於條件，選擇您要用於警示閾值的條件。

  10. 對於閾值，輸入所需的閾值。

  11. (選用) 對於通知，您可以選擇新增通知來建立或指定在警示狀態變更時接收通知的 Amazon SNS 主題。

  12. 選擇 Create alarm (建立警示)。

建立警示後，您可以隨時返回警示索引標籤來檢視其狀態。您也可以從此區段選取警示，然後選取編輯或刪除。