檢視端點狀態 - Amazon SageMaker AI
檢視一個端點的狀態和組態

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

檢視端點狀態

如果您想要使用訓練過的模型對即時資料執行推論，請將模型部署到即時端點。為了確保預測的適當延遲，您需要確保託管模型的執行個體有效率地執行。模型儀表板的端點監控特徵可顯示有關端點組態的即時資訊，並協助您透過指標追蹤端點效能。

監控設定

模型儀表板會連結至現有的 SageMaker AI 端點詳細資訊頁面，這些頁面會顯示您可以在 Amazon CloudWatch 中選擇的指標的即時圖表。在儀表板中，您可以在端點處理即時推論請求時追蹤這些指標。一些您可以選取的指標如下：

  • CpuUtilization：每個個別 CPU 核心使用率的總和，每個核心的使用率介於 0% 至 100% 之間。

  • MemoryUtilization：執行個體上的容器使用的記憶體的百分比，介於 0% 至 100% 之間。

  • DiskUtilization：執行個體所用容器使用的磁碟空間百分比，介於 0% 至 100% 之間。。

如需可即時檢視指標的完整清單，請參閱使用 Amazon CloudWatch 監控 Amazon SageMaker AI 的指標 Amazon CloudWatch。

執行期設定

Amazon SageMaker AI 支援託管模型的自動擴展 （自動擴展）。自動擴展會動態調整針對模型佈建的執行個體數目，因應工作負載的變更。當工作負載增加時，自動擴展會讓更多的執行個體上線。當工作負載減少時，自動擴展會移除不必要的執行個體，讓您不需為了用不到的已佈建執行個體再支付費用。您可以在模型儀表板中自訂以下執行期設定：

  • 更新權重：使用數值加權來變更指派給每個執行個體的工作負載量。如需在自動擴展期間執行個體加權的更多相關資訊，請參閱設定 Amazon EC2 Auto Scaling 的執行個體加權。

  • 更新執行個體計數：變更可在工作負載增加時，工作負載提供服務的執行個體總數。

如需端點執行期設定的更多相關資訊，請參閱 CreateEndpointConfig。

端點組態設定

端點組態設定會顯示您在建立端點時指定的設定。這些設定會通知 SageMaker AI 為您的端點佈建哪些資源。部分設定包含在下列：

  • 資料擷取：您可以選擇擷取有關端點輸入和輸出的資訊。例如，您可能想取樣傳入流量，以查看結果是否與訓練資料相關。您可以自訂取樣頻率、儲存資料的格式，以及儲存資料的 Amazon S3 位置。如需設定資料擷取組態的更多相關資訊，請參閱資料擷取。

  • 生產變體：請參閱執行期設定中的先前討論。

  • 非同步調用組態：如果您的端點是非同步的，本節包含 SageMaker AI 用戶端傳送至模型容器的並行請求數量上限、成功和失敗通知的 Amazon S3 位置，以及端點輸出的輸出位置。如需非同步輸出的更多相關資訊，請參閱非同步端點操作。

  • 加密金鑰：如果您要加密您的輸出，可以輸入加密金鑰。

如需端點組態設定的更多相關資訊，請參閱 CreateEndpointConfig。

檢視一個端點的狀態和組態

若要檢視模型端點的狀態和組態，請完成下列步驟：

  1. 開啟 SageMaker AI 主控台。

  2. 選擇在左側面板中的控管。

  3. 選擇模型儀表板。

  4. 在模型儀表板的模型區段中，選取要檢視之端點的模型名稱。

  5. 選取在端點區段中的端點名稱。