安全地驗證生產中的模型

使用 SageMaker，您可以使用變體在同一端點後面測試多個模型或模型版本。變體由 ML 執行個體和 SageMaker 模型中指定的服務元件組成。您可以有端點背後的多個變體。每個變體都可以有不同的執行個體類型，或可以獨立於其他變體自動調度資源的 SageMaker 模型。可以使用不同的資料集、不同的演算法、不同的機器學習架構或所有這些的任何組合訓練變體內的模型。端點後面的所有變體共享相同的推論代碼。 SageMaker 支持兩種類型的變體，生產變體和陰影變體。

如果端點背後具有多個生產變體，則可以將一部分推論請求配置給每個變體。每個請求只會轉接至其中一個生產變體。轉接請求到所在的生產變體會將回應提供給呼叫者。您可以比較各個生產變體如何彼此相對執行。

您也可以具有與端點背後之生產變體相對應的陰影變體。導向生產變體的一部份推論請求會複寫到陰影變體。陰影變體的回應會記錄進行比較，並不會傳回給呼叫者。這可讓您不會在陰影變體所產生的回應中公開呼叫者的情況下，測試陰影變體的效能。