影子测试
通过 Amazon SageMaker，您可以将模型服务基础设施的性能与当前部署的基础设施进行比较，从而评估对模型服务基础设施进行的任何更改。这种做法称为影子测试。影子测试有助于您在潜在的配置错误和性能问题影响最终用户之前将其捕获。使用 SageMaker，您不需要投资于构建影子测试基础设施，因此您可以专注于模型开发。
您可以使用这一功能来验证对生产变体的任何组件（即模型、容器或实例）所做的更改，而不会对最终用户造成任何影响。这种功能在包括但不限于以下情况下非常有用：
-
您正在考虑将已经过离线验证的新模型推广到生产环境，但希望在做出此决定之前评估延迟和错误率等运行性能指标。
-
您正在考虑对服务基础设施容器进行更改（例如修补漏洞或升级到新版本），并希望在推广到生产环境之前评测这些更改的影响。
-
您正在考虑更改 ML 实例，并希望评估新实例在处理实时推理请求时的性能。
SageMaker 控制台提供了管理影子测试工作流的指导式体验。您可以设置预定义时间段的影子测试，通过实时控制面板监控测试进度，在测试完成后进行清理，并根据结果采取行动。选择要测试的生产变体，SageMaker 会自动以影子模式部署新变体，并在同一端点内将推理请求的副本实时路由到该变体。只有生产变体的响应才会返回到调用应用程序。您可以选择放弃影子变体的响应，或记录影子变体的响应以进行离线比较。有关生产变体和影子变体的更多信息，请参阅验证生产中的模型。
有关创建影子测试的说明，请参阅创建影子测试。
注意
某些端点功能可能会使您的端点与影子测试不兼容。如果您的端点使用了以下任何功能，您就不能在端点上使用影子测试，而且您设置影子测试的请求会导致验证错误。
无服务器推理
异步推理
Marketplace 容器
多容器端点
多模型端点
使用 Inf1（基于 Inferentia）实例的端点
