Unterstützte Algorithmen, Frameworks und Instanzen für Endgeräte mit mehreren Modellen

Informationen zu den Algorithmen, Frameworks und Instance-Typen, die Sie mit Multimodell-Endpunkten verwenden können, finden Sie in den folgenden Abschnitten.

Unterstützte Algorithmen, Frameworks und Instanzen für Endgeräte mit mehreren Modellen, die unterstützte Instanzen verwenden CPU

Die Inference-Container für die folgenden Algorithmen und Frameworks unterstützen Multimodell-Endpunkte:

Um ein anderes Framework oder einen anderen Algorithmus zu verwenden, verwenden Sie das SageMaker Inferenz-Toolkit, um einen Container zu erstellen, der Endpunkte mit mehreren Modellen unterstützt. Weitere Informationen finden Sie unter Erstellen Sie Ihren eigenen Container für Endgeräte SageMaker mit mehreren Modellen.

Endpunkte mit mehreren Modellen unterstützen alle Instanztypen. CPU

Unterstützte Algorithmen, Frameworks und Instanzen für Endgeräte mit mehreren Modellen, die unterstützte Instanzen verwenden GPU

Das Hosten mehrerer GPU unterstützter Modelle auf Endpunkten mit mehreren Modellen wird über den SageMaker Triton Inference Server unterstützt. Dies unterstützt alle wichtigen Inferenz-Frameworks wie NVIDIA® TensorRT™,,, Python PyTorch,MXNet,, scikit-learn ONNXXGBoost,, Open RandomForestVINO, benutzerdefiniertes C++ und mehr.

Um ein anderes Framework oder einen anderen Algorithmus zu verwenden, können Sie das Triton-Backend für Python oder C++ verwenden, um Ihre Modelllogik zu schreiben und jedes benutzerdefinierte Modell bereitzustellen. Sobald Sie den Server bereit haben, können Sie damit beginnen, Hunderte von Deep-Learning-Modellen hinter einem Endpunkt bereitzustellen.

Endgeräte mit mehreren Modellen unterstützen die folgenden Instanztypen: GPU