最佳實務 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

最佳實務

建立推論實驗時,請謹記下列資訊:

  • 流量取樣百分比 — 取樣 100% 的推論請求可讓您驗證陰影變體在提升時是否可以處理生產流量。您可以從較低的流量取樣百分比開始,並在獲得對變體的信心時提高,但最佳實務是確保在提升前將流量增加到 100%。

  • 執行個體類型 — 除非您使用陰影變體來評估替代執行個體類型或大小,否則我們建議使用相同的執行個體類型、大小和數量,以便確定陰影變體可以在提升後處理推論請求數量。

  • 自動擴展 — 為了確保您的陰影變體能夠回應推論請求數量猛增或推論請求模式變更,我們強烈建議您在陰影變體上設定自動擴展。如需了解如何設定自動擴展,請參閱Amazon SageMaker 模型的自動擴展。如果您已設定自動擴展,您還可以驗證自動擴展政策的變更,而不會對使用者造成影響。

  • 指標監控 — 啟動陰影實驗並有足夠的調用後,請監控指標儀表板,以確保延遲和錯誤率等指標在可接受的範圍內。這有助於您盡快發現組態錯誤並採取修正動作。如需如何監控進行中推論實驗指標的相關資訊,請參閱如何檢視、監控和編輯陰影測試