本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

生產中模型的偏差偏離

Amazon SageMaker Clarify 偏差監控有助於資料科學家和 ML 工程師定期監控偏差的預測。監控模型時，客戶可以在 SageMaker Studio 中檢視可匯出的報告和圖形，並在偵測到超出特定閾值的偏差時，在 Amazon 中設定提醒 CloudWatch 以接收通知。當訓練資料與部署期間模型所看到的資料 (也就是即時資料) 不同時，可能會在部署的機器學習 (ML) 模型中導致或加劇偏差。即時資料分佈中這些類型的變更可能是暫時性的 (例如，由於某些短暫、真實世界的事件)或永久性的。無論哪種情況，偵測這些變更都很重要。例如，如果用於訓練模型的抵押貸款利率與目前真實世界的抵押貸款利率不同，則用於預測房屋價格的模型輸出可能會變得偏差。透過模型監控中的偏差偵測功能，當 SageMaker 偵測到超過特定閾值的偏差時，它會自動產生指標，您可以在 SageMaker Studio 中透過 Amazon CloudWatch 警示檢視。

一般而言，僅在階段期間 train-and-deploy測量偏差可能不夠。部署模型之後，部署模型所看到的資料分佈 (也就是即時資料) 可能與訓練資料集中的資料分佈不同。在一段時間後，此變更可能會導致模型中的偏差。即時資料分佈的變更可能是暫時的 (例如，由於某些短暫的行為，如假期節日) 或永久性的。無論哪種情況，偵測這些變更並在適當時採取措施以減少偏差很重要。

為了偵測這些變更， SageMaker Clarify 提供持續監控已部署模型偏差指標的功能，並在指標超過閾值時發出自動警示。例如，請考慮DPPL偏差指標。指定允許的值範圍 A=（a _min​，a _max​），例如在部署期間DPPL應屬於 （-0.1， 0.1） 的間隔。此範圍之間的任何偏差都應提出偵測到偏差的警示。透過 SageMaker Clarify，您可以定期執行這些檢查。

例如，您可以將檢查頻率設為 2 天。這表示 SageMaker Clarify DPPL 會根據 2 天時段期間收集的資料來計算指標。在此範例中，D_win 是模型在過去 2 天期間內處理的資料。如果在 D_win​ 上計算DPPL的值 b_win​ 落在允許的範圍 A 之外，則會發出警示。這種檢查 b _win是否在 A 之外的方法可能會有點吵雜。D_win​ 可能由極少數樣本組成，並且可能不代表即時資料分佈。小型樣本意味著在 D_win​ 上計算的偏差 b_win​ 值可能不是非常強大的估計值。事實上，非常高 (或低) 的 b_win 值可能純粹是由於機會而觀察到的。為了確保從觀察到的資料 D 得出的結論_win具有統計顯著性， SageMaker Clarify 會使用可信度間隔。具體而言，它使用 Normal Bootstrap 間隔方法來建構間隔 C=（c _min，c _max），以便 SageMaker Clarify 確信在完整即時資料上計算的真實偏差值包含在 C 中且機率高。現在，如果可信度間隔 C 與允許範圍 A 重疊， SageMaker Clarify 會將其解釋為「即時資料分佈的偏差指標值很可能落在允許範圍內」。如果 C 和 A 不相交， SageMaker Clarify 確信偏差指標不會位於 A 中並發出警示。

模型監控取樣筆記本

Amazon SageMaker Clarify 提供下列範例筆記本，說明如何擷取即時端點的推論資料、建立基準來監控不斷變化的偏差，以及檢查結果：

此筆記本已經過驗證，只能在 Amazon SageMaker Studio 中執行。如果您需要如何在 Amazon SageMaker Studio 中開啟筆記本的指示，請參閱 建立或開啟 Amazon SageMaker Studio Classic Notebook。如果系統提示您選擇核心，請選擇 Python 3 (資料科學)。下列主題包含最後兩個步驟的重點內容，其中包含範例筆記本的程式碼範例。