多模型端点支持的算法、框架和实例

有关可用于多模型端点的算法、框架和实例类型的信息，请参阅以下各部分。

支持使用CPU支持实例的多模型终端节点的算法、框架和实例

以下算法和框架的推理容器支持多模型端点：

要使用任何其他框架或算法，请使用 SageMaker 推理工具包构建支持多模型端点的容器。有关信息，请参阅为 SageMaker多模型端点构建自己的容器。

多模型终端节点支持所有CPU实例类型。

支持使用GPU支持实例的多模型终端节点的算法、框架和实例

SageMaker Triton In ference 服务器支持在多模型端点上托管多个GPU支持的模型。这支持所有主要的推理框架，例如 NVIDIA® tensorrt™、、、Python、、 PyTorchMXNet、scikit-learn ONNX、XGBoost、、Open RandomForest、VINO自定义 C++ 等。

要使用任何其他框架或算法，可以使用适用于 Python 或 C++ 的 Triton 后端来编写模型逻辑并提供任何自定义模型。服务器准备就绪后，可以开始在一个端点后部署数以百计的深度学习模型。

多模型终端节点支持以下GPU实例类型：