Algoritmos, estruturas e instâncias compatíveis para endpoints de vários modelos

Para obter informações sobre os algoritmos, frameworks e tipos de instância que você pode usar com endpoints multi-modelo, consulte as seguintes seções.

Algoritmos, estruturas e instâncias compatíveis para endpoints de vários modelos usando instâncias apoiadas CPU

Os contêineres de inferência para os seguintes algoritmos e frameworks oferecem suporte a endpoints de vários modelos:

Para usar qualquer outra estrutura ou algoritmo, use o kit de ferramentas de SageMaker inferência para criar um contêiner que ofereça suporte a endpoints de vários modelos. Para ter mais informações, consulte Crie seu próprio contêiner para endpoints SageMaker de vários modelos.

Os endpoints de vários modelos oferecem suporte a todos os tipos de CPU instância.

Algoritmos, estruturas e instâncias compatíveis para endpoints de vários modelos usando instâncias apoiadas GPU

A hospedagem de vários modelos com GPU suporte em endpoints de vários modelos é suportada pelo servidor SageMaker Triton Inference. Isso suporta todas as principais estruturas de inferência, como® NVIDIA TensorRT™,,, MXNet Python,, PyTorch, scikit-learn, Open ONNXXGBoost, C++ personalizado e muito mais. RandomForest VINO

Para utilizar qualquer outro framework ou algoritmo, você pode usar o backend Triton para Python ou C++ para escrever a lógica do seu modelo e servir qualquer modelo personalizado. Após ter o servidor pronto, você pode começar a implantar centenas de modelos de aprendizado profundo por trás de um único endpoint.

Os endpoints multimodelo oferecem suporte aos seguintes tipos de GPU instância: