Implementare un modello

Per distribuire un modello SageMaker compilato da Amazon NEO su un HTTPS endpoint, devi configurare e creare l'endpoint per il modello utilizzando i servizi di hosting Amazon. SageMaker Attualmente, gli sviluppatori possono utilizzare Amazon SageMaker APIs per distribuire moduli su istanze ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2 e ml.inf1.

Per le istanze Inferentia e Trainium, i modelli devono essere compilati in modo specifico per tali istanze. Il funzionamento di modelli compilati per altri tipi di istanze non è garantito con le istanze Inferentia o Trainium.

Quando si distribuisce un modello compilato, è necessario utilizzare per la destinazione la stessa istanza utilizzata per la compilazione. Questo crea un endpoint che SageMaker puoi usare per eseguire inferenze. Puoi distribuire un modello NEO-compilato utilizzando uno dei seguenti strumenti: Amazon for SageMaker SDK Python, SDK for Python(Boto3) e la console. AWS Command Line InterfaceSageMaker