模型部署在 SageMaker

训练并批准用于生产的模型后，使用 SageMaker 将模型部署到终端节点以进行实时推理。 SageMaker 提供了多个推理选项，因此您可以选择最适合您的工作负载的选项。您还可以通过选择实现出色性能所需的实例类型和实例数量来配置端点。有关模型部署的详细信息，请参阅部署模型用于推理。

将模型部署到生产环境后，您可能需要探索如何在保持当前模型可用性的同时进一步优化模型性能。例如，您可以设置影子测试，在提交变更之前试用不同的模型或模型服务基础架构。 SageMaker 在影子模式下部署新模型、容器或实例，并在同一端点内将推理请求的副本实时路由到该模型、容器或实例。您可以记录影子变体的响应以进行比较。有关影子测试的详细信息，请参阅影子测试。如果您决定继续更改模型，部署防护机制可以帮助您控制从当前模型到新模型的切换。您可以选择诸如对流量转移过程进行蓝/绿或 Canary 测试之类的方法，以在更新期间保持精细控制。有关部署防护机制的信息，请参阅用于在生产环境中更新模型的部署护栏。