Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Aggiorna i modelli in produzione
I guardrail di distribuzione sono un insieme di opzioni di distribuzione dei modelli in Amazon SageMaker Inference per aggiornare i modelli di machine learning in produzione. Utilizzando le opzioni di implementazione completamente gestite, è possibile controllare il passaggio dal modello corrente in produzione a uno nuovo. Le modalità di spostamento del traffico nelle implementazioni blu/verde, come canary e lineare, offrono un controllo granulare sul processo di spostamento del traffico dal modello attuale a quello nuovo nel corso dell'aggiornamento. Sono inoltre disponibili misure di protezione integrate, come i rollback automatici, che aiutano a individuare tempestivamente i problemi e ad adottare automaticamente azioni correttive prima che abbiano un impatto significativo sulla produzione.
I guardrail di implementazione offrono i seguenti vantaggi:
Sicurezza dell'implementazione durante l'aggiornamento degli ambienti di produzione. Un aggiornamento regressivo a un ambiente di produzione può causare tempi di inattività non pianificati e un impatto aziendale, come una maggiore latenza del modello e tassi di errore elevati. I guardrail di implementazione aiutano a mitigare tali rischi fornendo le migliori pratiche e barriere di sicurezza operative integrate.
Implementazione completamente gestita. SageMaker si occupa della configurazione e dell'orchestrazione di queste implementazioni e le integra con i meccanismi di aggiornamento degli endpoint. Non è necessario creare e mantenere meccanismi di orchestrazione, monitoraggio o rollback. Puoi sfruttare SageMaker per configurare e orchestrare queste implementazioni e concentrarti sull'utilizzo del machine learning per le tue applicazioni.
Visibilità. Puoi monitorare l'avanzamento della tua distribuzione tramite l'DescribeEndpointAPI o tramite Amazon CloudWatch Events (per gli endpoint supportati). Per ulteriori informazioni sugli eventi in SageMaker, consulta la sezione Modifica dello stato di distribuzione degli endpoint in. Automatizzare Amazon SageMaker con Amazon EventBridge Tieni presente che se il tuo endpoint utilizza una qualsiasi delle funzionalità della Esclusioni pagina, non puoi utilizzare CloudWatch Eventi.
Nota
I guardrail di implementazione si applicano solo ai tipi di endpoint Inferenza asincrona e Inferenza in tempo reale.
Come iniziare
Supportiamo due tipi di implementazioni per aggiornare i modelli in produzione: implementazioni blu/verdi e implementazioni continue.
-
Distribuzioni blu/verdi: puoi spostare il traffico dal tuo vecchio parco istanze (il parco istanze blu) a un nuovo parco istanze (parco istanze verde) con gli aggiornamenti. Le implementazioni blu/verde offrono diverse modalità di spostamento del traffico. Una modalità di spostamento del traffico è una configurazione che specifica in che modo SageMaker indirizza il traffico degli endpoint verso una nuova flotta contenente gli aggiornamenti. Le seguenti modalità di spostamento del traffico offrono diversi livelli di controllo sul processo di aggiornamento degli endpoint:
-
Spostamento del traffico tutto in una sola volta sposta tutto il traffico degli endpoint dal parco istanze blu a quello verde. Una volta che il traffico si sposta verso la flotta verde, i tuoi CloudWatch allarmi Amazon preimpostati iniziano a monitorare la flotta verde per un determinato periodo di tempo (il periodo di cottura). Se non scatta alcun allarme durante il periodo di cottura, SageMaker interrompe la flotta blu.
-
Spostamento del traffico Canary sposta una piccola parte del traffico (un canary) verso il parco istanze verde e la monitora per un periodo di baking. Se il canarino vince sulla flotta verde, SageMaker sposta il resto del traffico dalla flotta blu a quella verde prima di porre fine alla flotta blu.
-
Spostamento del traffico lineare offre una personalizzazione ancora maggiore rispetto al numero di fasi di spostamento del traffico e alla percentuale di traffico da spostare per ciascuna fase. Mentre lo spostamento canary consente di spostare il traffico in due fasi, lo spostamento lineare lo estende a n passaggi distanziati in modo lineare.
-
-
Distribuzioni in sequenza: È possibile aggiornare l'endpoint effettuando il rifornimento SageMaker incrementale della capacità e spostando il traffico verso una nuova flotta in fasi di dimensioni di batch specificate dall'utente. Le istanze del nuovo parco istanze vengono aggiornate con la nuova configurazione di distribuzione e, se durante il periodo di cottura non si CloudWatch verifica alcun allarme, SageMaker pulisce le istanze del vecchio parco istanze. Questa opzione offre un controllo granulare sul numero di istanze o sulla percentuale di capacità spostata durante ogni fase.
Puoi creare e gestire la tua implementazione tramite l'API UpdateEndpointe CreateEndpoint SageMaker i comandi. AWS Command Line Interface Consulta le pagine di distribuzione individuali per maggiori dettagli su come configurare la distribuzione. Tieni presente che se l'endpoint utilizza una delle funzionalità elencate nella pagina Esclusioni, non puoi utilizzare i guardrail di distribuzione.
Per seguire esempi guidati che mostrano come utilizzare i guardrail di implementazione, guarda i nostri esempi di notebook Jupyter
