Algoritma, kerangka kerja, dan instance yang didukung untuk titik akhir multi-model

Untuk informasi tentang algoritma, kerangka kerja, dan jenis instans yang dapat Anda gunakan dengan titik akhir multi-model, lihat bagian berikut.

Algoritma, kerangka kerja, dan instans yang didukung untuk titik akhir multi-model menggunakan instans yang didukung CPU

Wadah inferensi untuk algoritma dan kerangka kerja berikut mendukung titik akhir multi-model:

Untuk menggunakan kerangka kerja atau algoritma lain, gunakan toolkit inferensi SageMaker AI untuk membangun wadah yang mendukung titik akhir multi-model. Untuk informasi, lihat Bangun Wadah Anda Sendiri untuk Titik SageMaker Ak Multi-Model hir AI.

Multi-model Endpoint mendukung semua jenis instance CPU.

Algoritma, kerangka kerja, dan instans yang didukung untuk titik akhir multi-model menggunakan instans yang didukung GPU

Hosting beberapa model yang didukung GPU pada titik akhir multi-model didukung melalui server SageMaker AI Triton Inference. Ini mendukung semua kerangka inferensi utama seperti NVIDIA® TensorRT™,, MXnet, Python, ONNX PyTorch, XGBoost, scikit-learn,, OpenVINO, Custom C++, dan banyak lagi. RandomForest

Untuk menggunakan kerangka kerja atau algoritma lain, Anda dapat menggunakan backend Triton untuk Python atau C ++ untuk menulis logika model Anda dan melayani model khusus apa pun. Setelah server siap, Anda dapat mulai menerapkan 100-an model Deep Learning di belakang satu titik akhir.

Multi-model titik akhir mendukung jenis instance GPU berikut: