使用 Amazon 模型監控器監控資料和 SageMaker 模型品質 - Amazon SageMaker
運作方式

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 Amazon 模型監控器監控資料和 SageMaker 模型品質

Amazon SageMaker 模型監控器監控生產中 Amazon SageMaker 機器學習模型的品質。使用「模型監視器」，您可以設定：

  • 使用即時端點持續監控。

  • 使用定期執行的批次轉換工作持續監控。

  • 依排程監控非同步批次轉換工作。

使用模型監控，您可以設定警示在模型品質出現偏差時通知您。及早且主動地檢測這些偏差可讓您採取糾正措施。您可以採取重新訓練模型、稽核上游系統或修正品質問題等動作，而無需手動監控模型或建立其他工具。您可以使用預先建置監控功能的模型監控，不需要撰寫程式碼。您也可以撰寫程式碼來提供自訂分析，靈活地監控模型。

模型監控會提供下列類型的監控：

主題

Amazon SageMaker 模型監視器的工作

Amazon SageMaker 模型監控器會在生產環境中自動監控機器學習 (ML) 模型，並在品質問題發生時通知您。模型監控會使用規則來偵測模型中的偏離，並在發生偏離時向您提出警示。下圖顯示在將模型部署到即時端點的情況下，此程序如何運作。

使用 Amazon 模型監視器進行 SageMaker 模型監控程序。

您也可以使用模型監控來監控批次轉換工作，而不是即時端點。在這種情況下，Model Monitor 不會接收端點的請求並追蹤預測，而是監視推論輸入和輸出。下圖顯示監控批次轉換工作的程序。

使用 Amazon 模型監視器進行 SageMaker 模型監控程序。

若要啟用模型監視，請執行下列步驟。這些步驟會遵循各種資料收集、監視和分析程序中的資料路徑。

  • 對於即時端點，啟用端點將傳入請求中的資料擷取到受過訓練的機器學習 (ML) 模型，以及產生的模型預測。

  • 對於批次轉換工作，啟用批次轉換輸入和輸出的資料擷取。

  • 從用來訓練模型的資料集建立基準。基準會計算指標，並建議指標的限制條件。模型中的即時或批次預測會與限制進行比較。如果它們位於受約束的值之外，則會將它們報告為違犯。

  • 建立監控排程，指定要收集哪些資料、收集資料的頻率、如何分析資料，以及要產生哪些報告。

  • 檢查報告，這些報告將最新資料與基準線進行比較。留意 Amazon 回報的任何違規、指標和通知 CloudWatch。

備註

  • 模型監控只會計算表格式資料的模型指標和統計資料。例如，將影像做為輸入並根據該影像輸出標籤的影像分類模型仍可受監控。模型監控能夠計算輸出的指標和統計資料，而不是輸入。

  • 模型監控目前僅支援託管單一模型的端點，不支援監控多模型端點。如需有關使用多模型端點的資訊，請參閱在單一端點後方的單一容器託管多個模型。

  • 模型監視器支援監控推論管線。但是，擷取和分析資料是針對整個管道完成的，而不是針對管線中的個別容器。

  • 為了避免對推論要求造成影響，資料擷取會停止擷取需要高磁碟使用量的要求。我們建議您將磁碟使用率保持在 75% 以下，以確保資料擷取持續擷取要求。

  • 如果您在自訂亞馬遜中啟動 SageMaker StudioVPC，則必須建立VPC端點，讓模型監控器與 Amazon S3 和 CloudWatch. 如需VPC端點的相關資訊，請參閱 Amazon Virtual Private Cloud 使用者指南中的VPC端點。如需有關在自訂中啟動 SageMaker Studio 的資訊VPC，請參閱將 Studio 筆記本 Connect VPC 到外部資源。

模型監控範例筆記本

如需使用模型監視器搭配即時端點使用 end-to-end 工作流程的範例筆記本，請參閱 Amazon SageMaker 模型監視器簡介。

如需可針對監控排程中所選執行來視覺化 statistics.json 檔案的範例筆記本，請參閱 Model Monitor 視覺化。

如需如何建立及存取 Jupyter 筆記本執行個體 (您可以用來執行中範例) 的指示 SageMaker，請參閱。Amazon SageMaker 筆記本實建立筆記本執行個體並開啟之後，請選擇 [SageMaker 範例] 索引標籤以查看所有 SageMaker 範例的清單。若要開啟筆記本，請選擇筆記本的使用索引標籤，然後選擇建立複本。