Menyebarkan Model

Untuk menerapkan model yang SageMaker dikompilasi Amazon Neo ke HTTPS titik akhir, Anda harus mengonfigurasi dan membuat titik akhir untuk model menggunakan layanan hosting Amazon. SageMaker Saat ini, pengembang dapat menggunakan Amazon SageMaker APIs untuk menyebarkan modul ke instance ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2, dan ml.inf1.

Untuk instance Inferentia dan Trainium, model perlu dikompilasi secara khusus untuk instance tersebut. Model yang dikompilasi untuk jenis instance lain tidak dijamin berfungsi dengan instans Inferentia atau Trainium.

Saat menerapkan model yang dikompilasi, Anda perlu menggunakan instance yang sama untuk target yang Anda gunakan untuk kompilasi. Ini menciptakan SageMaker titik akhir yang dapat Anda gunakan untuk melakukan inferensi. Anda dapat menerapkan model yang dikompilasi NEO menggunakan salah satu dari berikut ini: Amazon untuk SageMaker SDK Python, SDK untuk Python(Boto3), dan konsol. AWS Command Line InterfaceSageMaker