托管模型以及预处理逻辑,作为端点后面的串行推理管道 - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

托管模型以及预处理逻辑,作为端点后面的串行推理管道

推理管道是一种 Amazon SageMaker 模型,由两到十五个容器组成的线性序列组成,用于处理数据推断请求。您可以使用推理管道来定义和部署预训练的 SageMaker 内置算法和自己打包在 Docker 容器中的自定义算法的任意组合。您可以使用推理管道合并预处理、预测和后处理数据科学任务。推理管道是完全托管的。

您可以添加 SageMaker Spark ML Serving 和 scikit-learn 容器,这些容器可以重复使用为训练模型开发的数据转换器。可以将整个组装好的推理管道视为一个 SageMaker 模型,您可以使用它来进行实时预测或直接处理批量变换,而无需任何外部预处理。

在推理管道模型中,将调用作为请求序列 SageMaker 处理。HTTP管道中的第一个容器处理初始请求,然后将中间响应作为请求发送到第二个容器,依此类推,针对管道中的每个容器。 SageMaker 将最终响应返回给客户端。

部署管道模型时,在终端节点或转换任务中的每个亚马逊弹性计算云 (AmazonEC2) 实例上 SageMaker 安装并运行所有容器。由于容器位于同一个实例上,因此功能处理和推断运行延迟很短。EC2您可以使用 CreateModel 操作或者从控制台为管道模型定义容器。与其设置一个PrimaryContainer,不如使用Containers参数来设置构成管道的容器。您还可以指定容器的执行顺序。

管道模型是不可变的,但您可以通过使用 UpdateEndpoint 操作部署一个管道模型来更新推理管道。这种模块性支持在试验期间实现更高的灵活性。

有关如何使用 SageMaker 模型注册表创建推理管道的信息,请参阅使用模型注册表注册和部署模型

使用此功能不会产生额外费用。您仅需为端点上运行的实例支付费用。

推理管道的示例笔记本

有关展示如何创建和部署推理管道的示例,请参阅使用 Scikit-Learn 和线性学习器的推理管道示例笔记本。有关创建和访问可用于在中运行示例的 Jupyter 笔记本实例的说明 SageMaker,请参阅。Amazon SageMaker 笔记本实例

要查看所有 SageMaker 示例的列表,请在创建并打开笔记本实例后,选择 “SageMaker 示例” 选项卡。有三个推理管道笔记本。刚刚介绍的前两个推理管道笔记本位于 advanced_functionality 文件夹中,第三个笔记本位于 sagemaker-python-sdk 文件夹中。要打开笔记本,请选择其 Use (使用) 选项卡,然后选择 Create copy (创建副本)