支持多模型终端节点的算法、框架和实例

有关可用于多模型端点的算法、框架和实例类型的信息，请参阅以下各部分。

使用 CPU 支持的实例的多模型端点所支持的算法、框架和实例

以下算法和框架的推理容器支持多模型端点：

要使用任何其他框架或算法，请使用 SageMaker AI 推理工具包构建支持多模型端点的容器。有关信息，请参阅为 SageMaker AI 多模型端点构建自己的容器。

多模型端点支持所有 CPU 实例类型。

使用 GPU 支持的实例的多模型端点所支持的算法、框架和实例

SageMaker AI Triton 推理服务器支持在多模型端点上托管多个 GPU 支持的模型。这支持所有主要的推理框架，例如 NVIDIA® Tensorrt™、、、Python、ONNX PyTorch、 MXNet、scikit-learn RandomForest、OpenVino XGBoost、自定义 C++ 等。

要使用任何其他框架或算法，可以使用适用于 Python 或 C++ 的 Triton 后端来编写模型逻辑并提供任何自定义模型。服务器准备就绪后，可以开始在一个端点后部署数以百计的深度学习模型。

多模型端点支持下列 GPU 实例类型。