Algoritmos, marcos e instancias compatibles con puntos de conexión multimodelo

Para obtener información sobre algoritmos, marcos y tipos de instancias que puedes usar con puntos de conexión multimodelo, consulte las siguientes secciones.

Algoritmos, marcos e instancias compatibles para puntos de conexión multimodelo que utilizan instancias respaldadas por CPU

Los contenedores de inferencia de los siguientes algoritmos y marcos admiten puntos de conexión multimodelo:

Para utilizar cualquier otro marco o algoritmo, utilice el kit de herramientas de inferencia de SageMaker IA para crear un contenedor que admita puntos finales multimodelo. Para obtener más información, consulte Cree su propio contenedor para terminales SageMaker multimodelo de IA.

Los puntos de conexión multimodelo admiten todos los tipos de instancias de CPU.

Algoritmos, marcos e instancias compatibles para puntos de conexión multimodelo que utilizan instancias respaldadas por GPU

El servidor de inferencia Triton de IA permite alojar varios modelos respaldados por GPU en puntos finales multimodelo. SageMaker Esto es compatible con los principales marcos de inferencia, como NVIDIA® TensorRT™, Python PyTorch, ONNX MXNet, scikit-learn XGBoost, OpenVINO, C++ personalizado RandomForest y más.

Para usar cualquier otro marco o algoritmo, puede usar el backend Triton para Python o C++ para escribir la lógica de su modelo y servir cualquier modelo personalizado. Una vez que tenga el servidor listo, puede empezar a implementar cientos de modelos de aprendizaje profundo en un punto de conexión.

Los puntos de conexión multimodelo admiten los siguientes tipos de instancias de GPU: