支持的实例类型和框架 - Amazon SageMaker
云实例实例类型AWS 推论

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

支持的实例类型和框架

Amazon SageMaker Neo 支持用于编译和部署的流行深度学习框架。您可以将模型部署到云实例或 AWS Inferentia 实例类型。

下面介绍了 SageMaker Neo 支持的框架以及您可以编译和部署到的目标云实例。有关如何将编译后的模型部署到云实例或 Inferentia 实例的信息，请参阅使用云实例部署模型。

云实例

SageMaker Neo 支持以下适用于CPU和GPU云实例的深度学习框架：

框架 框架版本 模型版本 模型 模型格式（打包为 *.tar.gz） 工具包
MXNet 1.8.0 支持 1.8.0 或更早版本 图像分类、对象检测、语义分割、姿态估算、活动识别 一个符号文件 (.json) 和一个参数文件 (.params) GluonCV v0.8.0
ONNX 1.7.0 支持 1.7.0 或更早版本 图像分类，SVM 一个模型文件 (.onnx)
Keras 2.2.4 支持 2.2.4 或更早版本 图像分类 一个模型定义文件 (.h5)
PyTorch 1.4、1.5、1.6、1.7、1.8、1.12、1.13 或 2.0 支持 1.4、1.5、1.6、1.7、1.8、1.12、1.13 和 2.0

图像分类

版本 1.13 和 2.0 支持物体检测、视觉转换器和 HuggingFace

 一个模型定义文件（.pt 或.pth），其输入 dtype 为 float32
TensorFlow 1.15.3 或 2.9 支持 1.15.3 和 2.9。 图像分类

对于保存的模型，需要一个 .pb 或一个 .pbtxt 文件，以及包含变量的变量目录

对于冻结模型，只需要一个 .pb 或一个 .pbtxt 文件
XGBoost 1.3.3 支持 1.3.3 或更早版本 决策树 一个XGBoost模型文件 (.model)，其中树中的节点数小于 2^31
注意

“模型版本”是用于训练和导出模型的框架版本。

实例类型

您可以将 SageMaker 编译后的模型部署到下面列出的云实例之一：

实例 计算类型

ml_c4

Standard

ml_c5

Standard

ml_m4

Standard

ml_m5

Standard

ml_p2

加速计算型

ml_p3

加速计算型

ml_g4dn

加速计算型

有关每种实例类型的可用版本CPU、内存和每小时价格的信息，请参阅 Amazon SageMaker 定价。

注意

使用 PyTorch 框架编译ml_*实例时，请使用输出配置中的编译器选项字段提供模型输入的正确数据类型 (dtype)。

默认被设置为 "float32"。

AWS 推论

SageMaker Neo 支持以下适用于 Inf1 的深度学习框架：

框架 框架版本 模型版本 模型 模型格式（打包为 *.tar.gz） 工具包
MXNet 1.5 或 1.8 支持 1.8、1.5 及更早版本 图像分类、对象检测、语义分割、姿态估算、活动识别 一个符号文件 (.json) 和一个参数文件 (.params) GluonCV v0.8.0
PyTorch 1.7、1.8 或 1.9 支持 1.9 及更早版本 图像分类 一个模型定义文件（.pt 或.pth），其输入 dtype 为 float32
TensorFlow 1.15 或 2.5 支持 2.5、1.15 及更早版本 图像分类

对于保存的模型，需要一个 .pb 或一个 .pbtxt 文件，以及包含变量的变量目录

对于冻结模型，只需要一个 .pb 或一个 .pbtxt 文件
注意

“模型版本”是用于训练和导出模型的框架版本。

您可以将 SageMaker 新编译的模型部署到 AWS 基于推理的 Amazon Inf1 实例。EC2 AWS Inferentia是亚马逊首款专为加速深度学习而设计的定制硅芯片。目前，您可以使用 ml_inf1 实例来部署已编译的模型。

AWS Inferentia2 和 Trainium AWS

目前，您可以将您的 SageMaker Neo 编译模型部署到 AWS 基于 Inferentia2 的 A EC2 mazon Inf2 实例（位于美国东部（俄亥俄州）区域）和基于 AWS Trainium 的 A EC2 mazon Trn1 实例（位于美国东部（弗吉尼亚北部）区域）。有关这些实例上支持的模型的更多信息，请参阅 Ne AWS uron 文档中的模型架构拟合指南以及 Neuron Github 存储库中的示例。