陰影測試 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

陰影測試

使用 Amazon, SageMaker 您可以將模型服務基礎設施的效能與目前部署的基礎設施進行比較,來評估模型服務基礎設施 這種做法稱為陰影測試。陰影測試可協助您在潛在的組態錯誤和效能問題影響使用者之前,找出這些問題。有了 SageMaker,您不需要投資建置陰影測試基礎結構,因此您可以專注於模型開發。

您可以使用此功能來驗證生產變體的任何元件 (即模型、容器或執行個體) 的變更,而不會對最終使用者造成任何影響。陰影測試在包括但不限於以下情況中非常有用:

  • 您正在考慮將已離線驗證的新模型升級為生產,但希望在做出此決定之前評估操作效能指標 (例如延遲和錯誤率)。

  • 您正在考慮對服務的基礎設施容器進行變更,例如修補漏洞或升級到較新的版本,並希望在升級到生產之前評估這些變更的影響。

  • 您正在考慮變更機器學習 (ML) 執行個體,並希望評估新執行個體如何透過即時推論請求執行。

主 SageMaker 控台提供管理陰影測試工作流程的引導式體驗。您可以在預先定義的持續時間內設定陰影測試、透過即時儀表板監控測試進度、在完成時進行清理,以及對結果採取行動。選取您要測試的生產變體,然後在陰影模式下 SageMaker自動部署新變體,並在相同端點內即時將推論要求的副本路由至該變體。只有生產變體的回應才會傳回至呼叫應用程式。您可以選擇捨棄或記錄陰影變體的回應,以便離線比較。如需生產和陰影變體的詳細資訊,請參閱安全地驗證生產中的模型

如需建立陰影測試的指示,請參閱建立陰影測試

注意

某些端點功能可能會使您的端點與陰影測試不相容。如果您的端點使用以下任何功能,則無法在端點上使用陰影測試,並且設置陰影測試的請求將導致驗證錯誤。

  • 無伺服器推論

  • 非同步推論

  • Marketplace 容器

  • 多容器端點

  • 多模型端點

  • 使用 Inf1 (推論型) 執行個體的端點

  • Amazon Elastic Inference 端點