Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

I prossimi passi per l'inferenza con Amazon SageMaker AI

Dopo aver creato un endpoint e aver compreso il flusso di lavoro di inferenza generale, puoi utilizzare le seguenti funzionalità dell' SageMaker intelligenza artificiale per migliorare il flusso di lavoro di inferenza.

Monitoraggio

Per tracciare il modello nel tempo attraverso parametri come la precisione e la deviazione del modello, è possibile utilizzare Monitoraggio modello. Con Monitoraggio modello, puoi impostare avvisi che ti notificano quando ci sono deviazioni nella qualità del tuo modello. Per ulteriori informazioni, consultare la documentazione di Monitoraggio modello.

Per ulteriori informazioni sugli strumenti che possono essere utilizzati per monitorare le implementazioni dei modelli e gli eventi che modificano l'endpoint, consulta Monitor Amazon AI. SageMaker Ad esempio, puoi monitorare lo stato dell'endpoint attraverso parametri quali errori di invocazione e latenza del modello utilizzando i parametri di Amazon. CloudWatch Le metriche di chiamata degli endpoint SageMaker AI possono fornirti informazioni preziose sulle prestazioni dell'endpoint.

CI/CD per la distribuzione di un modello

Per mettere insieme soluzioni di machine learning nell' SageMaker IA, puoi usare l'IA. SageMaker MLOps È possibile utilizzare questa funzione per automatizzare le fasi del flusso di lavoro di machine learning ed esercitarsi con CI/CD. Puoi utilizzare i modelli di MLOps progetto per facilitare la configurazione e l'implementazione di MLOps progetti di SageMaker intelligenza artificiale. SageMaker L'intelligenza artificiale supporta anche l'utilizzo del proprio repository Git di terze parti per la creazione di un sistema CI/CD.

Per le tue pipeline ML, usa Model Registry per gestire le versioni, la distribuzione e l'automazione dei tuoi modelli.

Guardrail di implementazione

Se desideri aggiornare il modello mentre è in produzione senza influire sulla produzione stessa, puoi utilizzare i guardrail di implementazione. I guardrail di implementazione sono un insieme di opzioni di implementazione dei modelli in SageMaker AI Inference per aggiornare i modelli di machine learning in produzione. Utilizzando le opzioni di implementazione completamente gestite, è possibile controllare il passaggio dal modello corrente in produzione a uno nuovo. Le modalità di trasferimento del traffico ti offrono un controllo granulare sul processo di trasferimento del traffico e le protezioni integrate come il rollback automatico ti aiutano a individuare tempestivamente i problemi.

Per ulteriori informazioni sui guardrail di implementazione, consulta la documentazione sui guardrail di implementazione.

Inferentia

Se devi eseguire applicazioni di machine learning e deep learning su larga scala, puoi utilizzare un'Inf1istanza con un endpoint in tempo reale. Questo tipo di istanza è adatto per casi d'uso quali riconoscimento di immagini o voce, elaborazione del linguaggio naturale (NLP), personalizzazione, previsione o rilevamento di frodi.

Inf1le istanze sono create per supportare applicazioni di inferenza di apprendimento automatico e sono dotate dei chip Inferentia. AWS Inf1le istanze offrono un throughput più elevato e un costo per inferenza inferiore rispetto alle istanze basate su GPU.

Per implementare un modello sulle Inf1 istanze, compila il tuo modello con SageMaker Neo e scegli un'istanza per la tua opzione di implementazione. Inf1 Per saperne di più, consulta Ottimizzare le prestazioni del modello utilizzando Neo. SageMaker

Ottimizzazione delle prestazioni del modello

SageMaker L'intelligenza artificiale fornisce funzionalità per gestire le risorse e ottimizzare le prestazioni di inferenza durante l'implementazione di modelli di apprendimento automatico. Puoi utilizzare gli algoritmi e i modelli predefiniti dell' SageMaker IA, nonché immagini Docker predefinite, sviluppate per l'apprendimento automatico.

Per addestrare i modelli e ottimizzarli per l'implementazione, consulta le immagini Docker predefinite Ottimizza le prestazioni dei modelli usando Neo. SageMaker Con SageMaker Neo puoi addestrare TensorFlow, Apache MXNet PyTorch, ONNX e modelli. XGBoost Quindi, puoi ottimizzarli e distribuirli su processori ARM, Intel e Nvidia.

Dimensionamento automatico

Se la quantità di traffico verso gli endpoint è variabile, potresti provare il dimensionato automaticamente. Ad esempio, durante le ore di punta, potresti aver bisogno di più istanze per elaborare le richieste. Tuttavia, durante i periodi di traffico ridotto, potresti voler ridurre l'uso delle risorse informatiche. Per regolare dinamicamente il numero di istanze assegnate in risposta alle modifiche nel carico di lavoro, consulta Ridimensionamento automatico dei modelli di SageMaker intelligenza artificiale di Amazon.

Se hai modelli di traffico imprevedibili o non desideri impostare politiche di scalabilità, puoi anche utilizzare Serverless Inference per un endpoint. Quindi, l'intelligenza artificiale gestisce la scalabilità automatica SageMaker per te. Nei periodi di traffico ridotto, l' SageMaker intelligenza artificiale ridimensiona l'endpoint e, se il traffico aumenta, l' SageMaker IA ridimensiona l'endpoint. Per ulteriori informazioni, consulta la documentazione Implementa modelli con Amazon SageMaker Serverless Inference.