Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Dengan inferensi real-time, Anda dapat lebih mengoptimalkan kinerja dan biaya dengan opsi inferensi lanjutan berikut:
-
Titik akhir multi-model— Gunakan opsi ini jika Anda memiliki beberapa model yang menggunakan kerangka kerja yang sama dan dapat berbagi wadah. Opsi ini membantu Anda mengoptimalkan biaya dengan meningkatkan pemanfaatan titik akhir dan mengurangi overhead penerapan.
-
Titik akhir multi-kontainer— Gunakan opsi ini jika Anda memiliki beberapa model yang menggunakan kerangka kerja yang berbeda dan memerlukan wadah mereka sendiri. Anda mendapatkan banyak manfaat dari Multi-Model Endpoint dan dapat menerapkan berbagai kerangka kerja dan model.
-
Serial Inference Pipelines - Gunakan opsi ini jika Anda ingin meng-host model dengan logika pra-pemrosesan dan pasca-pemrosesan di belakang titik akhir. Saluran pipa inferensi sepenuhnya dikelola oleh SageMaker AI dan memberikan latensi yang lebih rendah karena semua kontainer di-host pada instans Amazon yang sama. EC2
