影子测试 - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

影子测试

借助 Amazon, SageMaker 您可以通过将模型服务基础设施的性能与当前部署的基础设施进行比较来评估模型服务基础设施的任何变化。这种做法称为影子测试。影子测试有助于您在潜在的配置错误和性能问题影响最终用户之前将其捕获。有了 SageMaker它,您无需投资构建影子测试基础架构,因此您可以专注于模型开发。

您可以使用这一功能来验证对生产变体的任何组件(即模型、容器或实例)所做的更改,而不会对最终用户造成任何影响。这种功能在包括但不限于以下情况下非常有用:

  • 您正在考虑将已经过离线验证的新模型推广到生产环境,但希望在做出此决定之前评估延迟和错误率等运行性能指标。

  • 您正在考虑对服务基础设施容器进行更改(例如修补漏洞或升级到新版本),并希望在推广到生产环境之前评测这些更改的影响。

  • 您正在考虑更改 ML 实例,并希望评估新实例在处理实时推理请求时的性能。

SageMaker 控制台提供了管理影子测试工作流程的指导性体验。您可以在预定义的时间段内设置影子测试,通过实时仪表板监控测试进度,完成后进行清理,并根据结果采取行动。选择要测试的生产变体,然后在影子模式下 SageMaker自动部署新变体,并在同一端点内将推理请求的副本实时路由到该变体。只有生产变体的响应才会返回到调用应用程序。您可以选择放弃影子变体的响应,或记录影子变体的响应以进行离线比较。有关生产变体和影子变体的更多信息,请参阅对生产中的模型进行验证

有关创建影子测试的说明,请参阅创建影子测试

注意

某些端点功能可能会使您的端点与影子测试不兼容。如果您的终端节点使用以下任何功能,则无法在终端节点上使用影子测试,并且您设置影子测试的请求将导致验证错误。

  • 无服务器推理

  • 异步推理

  • Marketplace 容器

  • 多容器端点

  • 多模型端点

  • 使用 Inf1(基于 Inferentia)实例的端点