Menyebarkan Model

Untuk menerapkan SageMaker Neo-compiled model Amazon ke titik akhir HTTPS, Anda harus mengonfigurasi dan membuat titik akhir untuk model menggunakan layanan hosting Amazon SageMaker AI. Saat ini, pengembang dapat menggunakan Amazon SageMaker API untuk menerapkan modul ke instans ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2, dan ml.inf1.

Untuk instance Inferentia dan Trainium, model perlu dikompilasi secara khusus untuk contoh tersebut. Model yang dikompilasi untuk jenis instans lain tidak dijamin berfungsi dengan instans Inferentia atau Trainium.

Saat Anda menerapkan model yang dikompilasi, Anda perlu menggunakan instance yang sama untuk target yang Anda gunakan untuk kompilasi. Ini menciptakan titik akhir SageMaker AI yang dapat Anda gunakan untuk melakukan kesimpulan. Anda dapat menerapkan Neo-compiled model menggunakan salah satu dari berikut ini: Amazon SageMaker AI SDK untuk Python, SDK untuk Python (Boto3), AWS Command Line Interface, dan konsol SageMaker AI.