生產環境中模型的偏差偏離

Amazon SageMaker Clarify 偏差監控可協助資料科學家和機器學習 (ML) 工程師定期監控偏差的預測。當模型受到監控時，客戶可以在 SageMaker Studio 中檢視可匯出的報告和圖表以了解偏差詳細資料，並在 Amazon CloudWatch 中設定警示以便在偵測到超出特定閾值的偏差時接收通知。當訓練資料與部署期間模型所看到的資料 (也就是即時資料) 不同時，可能會在部署的機器學習 (ML) 模型中導致或加劇偏差。即時資料分佈中這些類型的變更可能是暫時性的 (例如，由於某些短暫、真實世界的事件)或永久性的。無論哪種情況，偵測這些變更都很重要。例如，如果用於訓練模型的抵押貸款利率與目前真實世界的抵押貸款利率不同，則用於預測房屋價格的模型輸出可能會變得偏差。透過模型監控中的偏差偵測功能，當 SageMaker AI 偵測到偏差超過特定閾值時，它會自動產生指標，您可以在 SageMaker Studio 中檢視，並透過 Amazon CloudWatch 提醒檢視。

一般而言，僅在訓練和部署階段測量偏差可能不足。部署模型之後，部署模型所看到的資料分佈 (也就是即時資料) 可能與訓練資料集中的資料分佈不同。在一段時間後，此變更可能會導致模型中的偏差。即時資料分佈的變更可能是暫時的 (例如，由於某些短暫的行為，如假期節日) 或永久性的。無論哪種情況，偵測這些變更並在適當時採取措施以減少偏差很重要。

為了偵測這些變更，SageMaker Clarify 提供持續監控已部署模型的偏差指標的功能，並在指標超過閾值時提出自動警示。例如，考量 DPPL 偏差指標。指定允許的值範圍 A=(a_min​,a_max​)，例如 DPPL 在部署期間應屬於的間隔 (-0.1, 0.1)。此範圍之間的任何偏差都應提出偵測到偏差的警示。使用 SageMaker Clarify，您可以定期執行這些檢查。

例如，您可以將檢查頻率設為 2 天。這表示 SageMaker Clarify 會根據 2 天期間內收集的資料來計算 DPPL 指標。在此範例中，D_win 是模型在過去 2 天期間內處理的資料。如果在 D_win​ 上計算的 DPPL 值 b_win​ 超出允許的範圍 A，則會發出警示。檢查 b_win 是否超出 A 的這種方法可能會有些嘈雜。D_win​ 可能由極少數樣本組成，並且可能不代表即時資料分佈。小型樣本意味著在 D_win​ 上計算的偏差 b_win​ 值可能不是非常強大的估計值。事實上，非常高 (或低) 的 b_win 值可能純粹是由於機會而觀察到的。為了確保從觀察到的資料 D_win 得出的結論在統計上具有顯著性，SageMaker Clarify 使用信賴區間。具體而言，它會使用一般引導區間方法來建構區間 C=(c_min​,c_max​)，如此 SageMaker Clarify 可確信透過完整即時資料計算的真正偏差值會以高可能性包含在 C 中。現在，如果信賴區間 C 與允許的範圍 A 重疊，SageMaker Clarify 會將其解譯為 “即時資料分佈的偏差指標值很可能落在允許的範圍內”。如果 C 和 A 是脫離的，則 SageMaker Clarify 可確信偏差指標不在 A 中並提出警示。

模型監控取樣筆記本

Amazon SageMaker Clarify 提供下列取樣筆記本，其中顯示如何擷取即時端點的推論資料、建立基準以監控不斷發展的偏差，以及檢查結果：

此筆記本已通過驗證，只能在 Amazon SageMaker Studio 中執行。如果您需要有關如何在 Amazon SageMaker Studio 中打開筆記本的說明，請參閱建立或開啟 Amazon SageMaker Studio Classic 筆記本。如果系統提示您選擇核心，請選擇 Python 3 (資料科學)。下列主題包含最後兩個步驟的重點內容，其中包含範例筆記本的程式碼範例。