SageMaker AI 中的模型部署

訓練並核准生產模型後，請使用 SageMaker AI 將模型部署到端點以進行即時推論。SageMaker AI 提供多個推論選項，讓您可以選擇最適合工作負載的選項。您也可以透過選擇執行個體類型和執行個體數量來設定端點，以獲得最佳效能。如需與模型部署相關的詳細資訊，請參閱部署用於推論的模型。

將模型部署到生產環境之後，您可能想要探索進一步最佳化模型效能的方法，同時維持目前模型的可用性。例如，您可以設定陰影測試，在提交變更之前嘗試不同的模型或模型服務基礎設施。SageMaker AI 會以影子模式部署新模型、容器或執行個體，並在相同端點內即時路由推論請求的副本。您可以記錄陰影變體的回應，以便進行比較。如需與陰影測試相關的詳細資訊，請參閱陰影測試。如果您決定繼續變更模型，可以透過部署防護機制控制從目前模型到新模型的切換。您能為流量轉移程序選取藍/綠或 Canary 測試等方法，以便在更新期間維持精細控制。如需與部署防護機制相關的詳細資訊，請參閱用於更新生產環境中模型的部署護欄。