Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Crea un test delle copie shadow
Puoi creare un test delle copie shadow per confrontare le prestazioni di una variante shadow con una variante di produzione. Puoi eseguire il test su un endpoint esistente che serve richieste di inferenza oppure creare un nuovo endpoint su cui eseguire il test.
Per creare un test delle copie shadow devi specificare quanto segue:
-
Una variante di produzione che riceve e risponde al 100% delle richieste di inferenza in entrata.
-
Una variante shadow che riceve una percentuale delle richieste in entrata, replicata dalla variante di produzione, ma non restituisce alcuna risposta.
Per ogni variante, puoi utilizzarla per SageMaker controllare il modello, il tipo di istanza e il numero di istanze. È possibile configurare la percentuale di richieste in entrata, nota come percentuale di campionamento del traffico, che si desidera replicare nella variante shadow. SageMaker gestisce la replica delle richieste nella variante shadow ed è possibile modificare la percentuale di campionamento del traffico quando il test è pianificato o in esecuzione. Facoltativamente, puoi anche attivare Acquisizione dei dati per registrare le richieste e le risposte delle tue varianti di produzione e shadow.
Nota
SageMaker supporta al massimo una variante shadow per endpoint. Per un endpoint con una variante shadow, può esserci al massimo una variante di produzione.
È possibile pianificare l'inizio del test in qualsiasi momento e continuare per una durata specificata. La durata predefinita è 7 giorni e la massima è 30 giorni. Una volta completato il test, l'endpoint torna allo stato in cui si trovava prima dell'inizio del test. In questo modo non è necessario pulire manualmente le risorse al termine del test.
È possibile monitorare un test in esecuzione tramite una dashboard nella SageMaker console. Il pannello di controllo fornisce un confronto affiancato dei parametri di invocazione e dei parametri delle istanze tra le varianti di produzione e quelle shadow, oltre a una visualizzazione tabulare con le statistiche metriche pertinenti. Questo pannello di controllo è disponibile anche per i test completati. Dopo aver esaminato i parametri, puoi scegliere di promuovere la variante shadow come nuova variante di produzione o mantenere la variante di produzione esistente. Una volta promossa, la variante shadow risponde a tutte le richieste in entrata. Per ulteriori informazioni, consulta Promozione di una variante shadow.
La procedura seguente descrive come creare un test shadow tramite la SageMaker console. Esistono variazioni nel flusso di lavoro a seconda che si desideri utilizzare un endpoint esistente o creare un nuovo endpoint per il test delle copie shadow.
Argomenti
Prerequisiti
Prima di creare uno shadow test con la SageMaker console, è necessario disporre di un SageMaker modello pronto all'uso. Per ulteriori informazioni su come creare un SageMaker modello, vedereImplementa modelli per l'inferenza in tempo reale.
Puoi iniziare con i test ombra con un endpoint esistente con una variante di produzione e una variante ombra, un endpoint esistente con solo una variante di produzione o solo i SageMaker modelli che desideri confrontare. I test delle copie shadow supportano la creazione di un endpoint e l'aggiunta di varianti prima dell'inizio del test.
Nota
Alcune funzionalità degli endpoint possono rendere l'endpoint incompatibile con gli shadow test. Se l'endpoint utilizza una delle seguenti funzionalità, non è possibile utilizzare gli shadow test sull'endpoint e la richiesta di impostazione degli shadow test comporterà errori di convalida.
Inferenza serverless
Inferenza asincrona
Container Marketplace
Endpoint a contenitore multiplo
Endpoint multi-modello
Endpoint che utilizzano istanze Inf1 (basate su inferenza)
Inserisci i dettagli del test delle copie shadow
Per iniziare a creare il tuo test delle copie shadow, compila la pagina Inserisci i dettagli del test delle copie shadow effettuando le seguenti operazioni:
-
Nel pannello di navigazione a sinistra, seleziona Inferenza e poi scegli Test delle copie shadow.
-
Scegli Crea un test delle copie shadow.
-
Nel campo Nome inserisci un nome per il test.
-
(Facoltativo) In Descrizione, inserisci una descrizione per il test.
-
(Facoltativo) Specifica i Tag utilizzando le coppie Chiave e Valore.
-
Scegli Next (Successivo).
Immetti le impostazioni del test delle copie shadow
Dopo aver compilato la pagina Immetti i dettagli del test delle copie shadow, compila la pagina Inserisci le impostazioni del test delle copie shadow. Se disponi già di un endpoint SageMaker Inference e di una variante di produzione, segui il flusso di lavoro Usa un endpoint esistente. Se non disponi ancora di un endpoint, consulta il flusso di lavoro Crea un nuovo endpoint.
Dopo aver completato le procedure precedenti, ora dovresti avere un test programmato per iniziare alla data e all'ora di inizio specificate. Puoi visualizzare lo stato di avanzamento del test da un pannello di controllo. Per ulteriori informazioni sulla visualizzazione del test e sulle azioni che è possibile eseguire, consulta Come visualizzare, monitorare e modificare gli shadow test.
