Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Con Amazon SageMaker AI puoi valutare eventuali modifiche alla tua infrastruttura di servizio dei modelli confrontando le sue prestazioni con l'infrastruttura attualmente distribuita. Questa pratica è nota come shadow testing. Lo shadow testing può aiutarti a individuare potenziali errori di configurazione e problemi di prestazioni prima che abbiano un impatto sugli utenti finali. Con l' SageMaker intelligenza artificiale, non è necessario investire nella creazione della propria infrastruttura di shadow testing, quindi puoi concentrarti sullo sviluppo di modelli.
Puoi utilizzare questa funzionalità per convalidare le modifiche a qualsiasi componente della tua variante di produzione, vale a dire il modello, il container o l'istanza, senza alcun impatto sull'utente finale. È utile in casi che includono, ma non si limitano a, ciò che segue:
-
Stai valutando la possibilità di promuovere in produzione un nuovo modello convalidato offline ma, prima di prendere questa decisione, desideri valutare i parametri delle prestazioni operative, come latenza e tasso di errore.
-
Stai valutando la possibilità di apportare modifiche al container dell'infrastruttura di servizio, per esempio con l’applicazione di patch alle vulnerabilità o l'aggiornamento a versioni più recenti, e desideri valutare l'impatto di queste modifiche prima di andare in produzione.
-
Stai valutando la possibilità di modificare la tua istanza ML e desideri valutare le prestazioni della nuova istanza rispetto a richieste di inferenza in tempo reale.
La console SageMaker AI offre un'esperienza guidata per gestire il flusso di lavoro dello shadow test. Puoi impostare gli shadow test per un periodo di tempo predefinito, monitorare lo stato di avanzamento del test tramite una dashboard live, eseguire il ripristino una volta completato e agire in base ai risultati. Seleziona una variante di produzione su cui desideri eseguire il test e l' SageMaker IA distribuirà automaticamente la nuova variante in modalità shadow e le indirizza una copia delle richieste di inferenza in tempo reale all'interno dello stesso endpoint. Solo le risposte della variante di produzione vengono restituite all'applicazione chiamante. Puoi scegliere di scartare o registrare le risposte della variante shadow per il confronto offline. Per ulteriori informazioni sulle varianti di produzione e sulle varianti shadow, consulta Validazione dei modelli in produzione.
Consulta Crea un test delle copie shadow per istruzioni sulla creazione di un test delle copie shadow.
Nota
Alcune funzionalità degli endpoint possono rendere l'endpoint incompatibile con gli shadow test. Se l'endpoint utilizza una delle seguenti funzionalità, non è possibile utilizzare gli shadow test sull'endpoint e la richiesta di impostazione degli shadow test comporterà errori di convalida.
Inferenza serverless
Inferenza asincrona
Container Marketplace
Endpoint a contenitore multiplo
Endpoint multi-modello
Endpoint che utilizzano istanze Inf1 (basate su inferenza)
