推理

本节介绍如何使用 PyTorch和在适用于亚马逊弹性计算云的 Dee AWS p Learning Containers 上运行推理。 TensorFlow

PyTorch推断

1.6 及更高 PyTorch 版本的 Deep Learning Container TorchServe s 用于推理调用。1.5 及更早 PyTorch 版本的 Deep Learning Container multi-model-server s 用于推理调用。

PyTorch 1.6 及更高版本

为了运行推理 PyTorch，此示例使用了公共 S3 存储桶在 Imagenet 上预训练的模型。推理是使用 TorchServe提供的。有关更多信息，请参阅这篇关于使用部署 PyTorch 推理的 TorchServe博客。

CPU例如：

$ docker run -itd --name torchserve -p 80:8080  -p 8081:8081 <your container image id> \
torchserve --start --ts-config /home/model-server/config.properties \
--models pytorch-densenet=https://torchserve.s3.amazonaws.com/mar_files/densenet161.mar

举GPU例来说

$ nvidia-docker run -itd --name torchserve -p 80:8080  -p 8081:8081 <your container image id> \
torchserve --start --ts-config /home/model-server/config.properties \
--models pytorch-densenet=https://torchserve.s3.amazonaws.com/mar_files/densenet161.mar

如果你有 docker-ce 版本 19.03 或更高版本，则可以在启动 Docker 时使用该--gpus标志。

配置文件包含在容器中。

服务器启动后，您现在可以使用以下方法从不同的窗口运行推理。

$ curl -O https://s3.amazonaws.com/model-server/inputs/flower.jpg
curl -X POST http://127.0.0.1:80/predictions/pytorch-densenet -T flower.jpg

使用完容器后，您可以使用以下方法将其移除。

$ docker rm -f torchserve

PyTorch 1.5 及更早版本

为了运行推理 PyTorch，此示例使用了公共 S3 存储桶在 Imagenet 上预训练的模型。推理是使用的 multi-model-server，它可以支持任何框架作为后端。有关更多信息，请参阅multi-model-server。

CPU例如：

$ docker run -itd --name mms -p 80:8080  -p 8081:8081 <your container image id> \
multi-model-server --start --mms-config /home/model-server/config.properties \
--models densenet=https://dlc-samples.s3.amazonaws.com/pytorch/multi-model-server/densenet/densenet.mar

举GPU例来说

$ nvidia-docker run -itd --name mms -p 80:8080  -p 8081:8081 <your container image id> \
multi-model-server --start --mms-config /home/model-server/config.properties \
--models densenet=https://dlc-samples.s3.amazonaws.com/pytorch/multi-model-server/densenet/densenet.mar

如果你有 docker-ce 版本 19.03 或更高版本，则可以在启动 Docker 时使用该--gpus标志。

配置文件包含在容器中。

服务器启动后，您现在可以使用以下方法从不同的窗口运行推理。

$ curl -O https://s3.amazonaws.com/model-server/inputs/flower.jpg
curl -X POST http://127.0.0.1/predictions/densenet -T flower.jpg

使用完容器后，您可以使用以下方法将其移除。

$ docker rm -f mms

TensorFlow推断

为了演示如何使用 Deep Learning Containers 进行推理，此示例使用了一个带有 TensorFlow 2 Serving 的简单半加二模型。我们建议将深度学习基础用AMI于 TensorFlow 2。登录实例后，运行以下命令。

$ git clone -b r2.0 https://github.com/tensorflow/serving.git
$ cd serving

使用此处的命令开始使用此模型的 Deep Learning Containers 进行 TensorFlow 服务。与用于训练的 Deep Learning Containers 不同，模型服务在运行容器后立即开始，并作为后台进程运行。

接下来，使用 Deep Learning Containers 运行推理。

$ curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://127.0.0.1:8501/v1/models/saved_model_half_plus_two:predict

输出类似于以下内容。

{
    "predictions": [2.5, 3.0, 4.5
    ]
}

$ docker attach <your docker container name>

后续步骤

要了解如何在亚马逊的 Deep Learning Containers 中使用自定义入口点ECS，请参阅。自定义入口点