Algoritma, kerangka kerja, dan instance yang didukung untuk titik akhir multi-model

Untuk informasi tentang algoritme, kerangka kerja, dan jenis instance yang dapat Anda gunakan dengan titik akhir multi-model, lihat bagian berikut.

Algoritme, kerangka kerja, dan instance yang didukung untuk titik akhir multi-model menggunakan instance yang didukung CPU

Wadah inferensi untuk algoritme dan kerangka kerja berikut mendukung titik akhir multi-model:

Untuk menggunakan kerangka kerja atau algoritme lain, gunakan toolkit SageMaker inferensi untuk membangun wadah yang mendukung titik akhir multi-model. Untuk informasi, lihat Bangun Container Anda Sendiri untuk Titik Akhir SageMaker Multi-Model.

Titik akhir multi-model mendukung semua jenis CPU instance.

Algoritme, kerangka kerja, dan instance yang didukung untuk titik akhir multi-model menggunakan instance yang didukung GPU

Hosting beberapa model GPU yang didukung pada titik akhir multi-model didukung melalui server Inferensi SageMaker Triton. Ini mendukung semua kerangka inferensi utama seperti® NVIDIA TensorRT™,,, Python,,, RandomForest scikit-learn PyTorch,MXNet, Open, custom C++ ONNXXGBoost, dan banyak lagi. VINO

Untuk menggunakan kerangka kerja atau algoritma lain, Anda dapat menggunakan backend Triton untuk Python atau C ++ untuk menulis logika model Anda dan melayani model kustom apa pun. Setelah server siap, Anda dapat mulai menerapkan 100-an model Deep Learning di belakang satu titik akhir.

Titik akhir multi-model mendukung jenis GPU instance berikut: