Algoritmi, framework e istanze supportati per endpoint multimodello

Per informazioni sugli algoritmi, i framework e i tipi di istanza che è possibile utilizzare con gli endpoint a più modelli, consulta le sezioni seguenti.

Algoritmi, framework e istanze supportati per endpoint multimodello che utilizzano istanze supportate CPU

I container di inferenza per i seguenti algoritmi e framework supportano endpoint a più modelli:

Per utilizzare qualsiasi altro framework o algoritmo, utilizza il toolkit di SageMaker inferenza per creare un contenitore che supporti endpoint multimodello. Per informazioni, consultare Crea il tuo contenitore per endpoint multimodello SageMaker.

Gli endpoint multimodello supportano tutti i tipi di istanza. CPU

Algoritmi, framework e istanze supportati per endpoint multimodello che utilizzano istanze supportate GPU

L'hosting di più modelli GPU supportati su endpoint multimodello è supportato tramite il server Triton Inference. SageMaker Questo supporta tutti i principali framework di inferenza come® NVIDIA TensorRT™,, Python,, MXNet scikit-learn PyTorch, Open, C++ ONNX personalizzato e XGBoost altri. RandomForest VINO

Per utilizzare qualsiasi altro framework o algoritmo, puoi usare il back-end Triton per Python o C++ per scrivere la logica del modello e servire qualsiasi modello personalizzato. Dopo aver preparato il server, puoi iniziare a implementare centinaia di modelli di Deep Learning dietro un unico endpoint.

Gli GPU endpoint multimodello supportano i seguenti tipi di istanza: