本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon 中的模型部署选项 SageMaker
训练完机器学习模型后,您可以使用 Amazon 对其进行部署 SageMaker 以获得预测。根据您的使用案例,Amazon SageMaker 支持以下部署模型的方法:
-
对于一次只能进行一次预测的永久实时终端节点,请使用 SageMaker实时托管服务。请参阅 实时推理。
-
在流量峰值之间有空闲时间且可以容忍冷启动的工作负载使用无服务器推理。请参阅 使用 Amazon SageMaker 无服务器推理部署模型。
-
负载大小高达 1GB、处理时间长、延迟要求接近实时的请求使用 Amazon SageMaker 异步推理。请参阅 异步推理。
-
要获得整个数据集的预测,请使用 SageMaker 批量变换。请参阅 使用 Amazon 进行批量转换以进行推理 SageMaker。
SageMaker 还提供了在部署机器学习模型时管理资源和优化推理性能的功能:
-
要管理边缘设备上的模型,以便您可以优化、保护、监控和维护边缘设备队列上的机器学习模型,请参阅使用 Edge Manager 在边 SageMaker 缘部署模型。这适用于智能相机、机器人、个人计算机和移动设备等边缘设备。
-
要优化 Gluon、Keras MXNet、 PyTorch、 TensorFlow、、、 TensorFlow-Lite 以及基于安霸、英特尔、英伟达、高通、德州仪器和赛灵思处理器的安卓ARM、Linux 和 Windows 机器上的推理ONNX模型,请参阅。NXP 使用 SageMaker Neo 优化模型性能
有关所有部署操作的更多信息,请参阅部署模型用于推理。