Algoritmos, marcos e instancias compatibles para terminales multimodelo

Para obtener información sobre algoritmos, marcos y tipos de instancias que puedes usar con puntos de conexión multimodelo, consulte las siguientes secciones.

Algoritmos, marcos e instancias compatibles para puntos finales multimodelo mediante instancias respaldadas CPU

Los contenedores de inferencia de los siguientes algoritmos y marcos admiten puntos de conexión multimodelo:

Para usar cualquier otro marco o algoritmo, usa el kit de herramientas de SageMaker inferencia para crear un contenedor que admita puntos finales multimodelo. Para obtener más información, consulte Cree su propio contenedor para terminales SageMaker multimodelo.

Los puntos finales multimodelo admiten todos los tipos de instancias. CPU

Algoritmos, marcos e instancias compatibles para puntos finales multimodelo mediante instancias respaldadas GPU

El servidor de inferencia Triton admite el alojamiento de varios modelos GPU respaldados en puntos finales multimodelo. SageMaker Esto es compatible con los principales marcos de inferencia, como NVIDIA® TensorRT™,, Python PyTorch,MXNet, XGBoost scikit-learn ONNX RandomForest, Open, C++ personalizado y más. VINO

Para usar cualquier otro marco o algoritmo, puede usar el backend Triton para Python o C++ para escribir la lógica de su modelo y servir cualquier modelo personalizado. Una vez que tenga el servidor listo, puede empezar a implementar cientos de modelos de aprendizaje profundo en un punto de conexión.

Los puntos finales multimodelo admiten los siguientes tipos de instancias: GPU