Implementazione di modelli nell' SageMaker IA

Dopo aver addestrato e approvato un modello per la produzione, utilizza l' SageMaker intelligenza artificiale per distribuirlo su un endpoint per l'inferenza in tempo reale. SageMaker L'intelligenza artificiale offre diverse opzioni di inferenza in modo da poter scegliere l'opzione più adatta al tuo carico di lavoro. È inoltre possibile configurare l'endpoint scegliendo il tipo di istanza e il numero di istanze necessarie per prestazioni ottimali. Per informazioni dettagliate sull’implementazione di modelli, consulta Implementa modelli per l'inferenza.

Dopo aver distribuito i modelli in produzione, potresti voler trovare nuovi modi per ottimizzare ulteriormente le prestazioni dei modelli, mantenendo al contempo la disponibilità di quelli attuali. Ad esempio, puoi impostare uno shadow test per provare un modello o un'infrastruttura di servizio del modello diverso prima di impegnarti nella modifica. SageMaker L'intelligenza artificiale implementa il nuovo modello, contenitore o istanza in modalità shadow e gli indirizza una copia delle richieste di inferenza in tempo reale all'interno dello stesso endpoint. È possibile registrare le risposte della variante shadow per il confronto. Per i dettagli sullo shadow test, consulta Test delle copie shadow. Se decidi di procedere e modificare il modello, i guardrail di implementazione ti aiutano a controllare il passaggio dal modello attuale a uno nuovo. Puoi selezionare metodi come il blue/green o canary test del processo di spostamento del traffico per mantenere un controllo granulare durante l'aggiornamento. Per ulteriori informazioni sull’implementazione dei guardrail, consulta Guardrail di implementazione per l'aggiornamento dei modelli in produzione.