Gestisci i tuoi endpoint - Amazon SageMaker
Gestisci gli endpoint in Studio SageMaker SageMaker Gestisci gli endpoint nella console

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Gestisci i tuoi endpoint

Dopo aver distribuito il modello su un endpoint, potresti voler visualizzare e gestire l'endpoint. Con SageMaker, puoi visualizzare lo stato e i dettagli del tuo endpoint, controllare metriche e log per monitorare le prestazioni dell'endpoint, aggiornare i modelli distribuiti sull'endpoint e altro ancora.

La pagina seguente descrive come visualizzare e modificare in modo interattivo gli endpoint utilizzando la SageMaker console Amazon o SageMaker Studio.

Gestisci gli endpoint in Studio SageMaker

In Amazon SageMaker Studio, puoi visualizzare e gestire i tuoi endpoint SageMaker di hosting. Per ulteriori informazioni su Studio, consulta Amazon SageMaker Studio.

Per trovare l'elenco dei tuoi endpoint in SageMaker Studio, procedi come segue:

  1. Apri l'applicazione Studio.

  2. Nel riquadro di navigazione a sinistra, scegli Distribuzioni.

  3. Dal menu a discesa, scegli Endpoints.

Si apre la pagina Endpoints, che elenca tutti gli endpoint di hosting SageMaker . Da questa pagina puoi vedere gli endpoint e il loro stato. Puoi anche creare un nuovo endpoint, modificare un endpoint esistente o eliminare un endpoint.

Per visualizzare i dettagli di un endpoint specifico, scegli un endpoint dall'elenco. Nella pagina dei dettagli dell'endpoint, viene visualizzata una panoramica simile alla schermata seguente.

Schermata della pagina principale di un endpoint che mostra un riepilogo dei dettagli dell'endpoint in Studio.

Ogni pagina dei dettagli dell'endpoint contiene le seguenti schede di informazioni:

Varianti (o modelli)

La scheda Varianti (chiamata anche scheda Modelli se l'endpoint ha più modelli distribuiti) mostra l'elenco delle varianti del modello o dei modelli attualmente distribuiti sull'endpoint. La schermata seguente mostra l'aspetto della sezione Panoramica e Modelli per un endpoint con più modelli distribuiti.

Schermata della pagina principale di un endpoint che mostra più modelli distribuiti.

È possibile aggiungere o modificare le impostazioni per ogni variante o modello. Puoi anche selezionare una variante e abilitare una politica di auto-scaling predefinita, che puoi modificare in seguito nella scheda Auto-scaling.

Impostazioni

Nella scheda Impostazioni, puoi visualizzare il ruolo AWS IAM associato all'endpoint, la AWS KMS chiave utilizzata per la crittografia (se applicabile), il nome del tuo VPC e le impostazioni di isolamento della rete.

Inferenza del test

Nella scheda Test inference, puoi inviare una richiesta di inferenza di test a un modello distribuito. Ciò è utile se desideri verificare che l'endpoint risponda alle richieste come previsto.

Per testare l'inferenza, procedi come segue:

  1. Nella scheda Test inference del modello, scegliete una delle seguenti opzioni:

    1. Seleziona Inserisci il corpo della richiesta se desideri testare l'endpoint e ricevere una risposta tramite l'interfaccia di Studio.

    2. Seleziona Copia codice di esempio (Python) se desideri copiare un AWS SDK for Python (Boto3) esempio da utilizzare per richiamare l'endpoint da un ambiente locale e ricevere una risposta a livello di codice.

  2. Per Modello, seleziona il modello che desideri testare sull'endpoint.

  3. Se hai scelto il metodo di test dell'interfaccia Studio, puoi anche scegliere il tipo di contenuto desiderato per la risposta dal menu a discesa.

Dopo aver configurato la richiesta, puoi scegliere Invia richiesta (per ricevere una risposta tramite l'interfaccia di Studio) o Copia per copiare l'esempio Python.

Se ricevi una risposta tramite l'interfaccia di Studio, sarà simile alla schermata seguente.

Schermata di una richiesta di test di inferenza riuscita su un endpoint in Studio.

Dimensionamento automatico

Nella scheda Auto-scaling, puoi visualizzare tutte le policy di auto-scaling configurate per i modelli ospitati sul tuo endpoint. La schermata seguente mostra la scheda Auto-scaling.

Schermata della scheda Scalabilità automatica, che mostra una politica attiva.

Puoi scegliere Modifica auto-scaling per modificare qualsiasi politica e attivare o disattivare la politica di auto-scaling predefinita.

Per ulteriori informazioni sull'auto-scaling per endpoint in tempo reale, consulta Autombly Scale Amazon Models. SageMaker Se non sei sicuro di come configurare una policy di auto-scaling per il tuo endpoint, puoi utilizzare un job di consigli di autoscaling di Inference Recommender per ottenere consigli per una policy di auto-scaling.

SageMaker Gestisci gli endpoint nella console

Per visualizzare gli endpoint nella SageMaker console, procedi come segue:

  1. Vai alla SageMaker console all'indirizzo https://console.aws.amazon.com/sagemaker/.

  2. Nel pannello di navigazione a sinistra, scegli Inferenza.

  3. Dal menu a discesa, scegli Endpoint.

  4. Nella pagina Endpoint, scegli il tuo endpoint.

Dovrebbe aprirsi la pagina dei dettagli dell'endpoint, che mostra un riepilogo dell'endpoint e delle metriche raccolte per l'endpoint.

Le sezioni seguenti descrivono le schede nella pagina dei dettagli degli endpoint.

Monitoraggio

Dopo aver creato un endpoint di SageMaker hosting, puoi monitorare il tuo endpoint utilizzando Amazon CloudWatch, che raccoglie dati grezzi e li elabora in metriche leggibili quasi in tempo reale. Utilizzando questi parametri, puoi accedere alle informazioni cronologiche e avere una migliore percezione delle performance del tuo endpoint. Per ulteriori informazioni, consulta la Amazon CloudWatch User Guide.

Dalla scheda Monitoraggio nella pagina dei dettagli dell'endpoint, puoi visualizzare i dati sulle CloudWatch metriche raccolti dal tuo endpoint.

La scheda Monitoraggio include le seguenti sezioni:

  • Parametri operativi: visualizza i parametri che tengono traccia dell'utilizzo delle risorse dell'endpoint, come l'utilizzo della CPU e l'utilizzo della memoria.

  • Parametri di chiamata: visualizza i parametri che tengono traccia del numero, dello stato e dello stato delle richieste InvokeEndpoint che arrivano all'endpoint, come gli errori del modello di invocazione e la latenza del modello.

  • Parametri sanitari: visualizza i parametri che tengono traccia dello stato generale dell'endpoint, come gli errori di chiamata e gli errori di notifica.

Per descrizioni dettagliate di ciascuna metrica, consulta Monitora con. SageMaker CloudWatch

La schermata seguente mostra la sezione Parametri operativi per un endpoint serverless.

Schermata dei grafici dei parametri nella sezione Parametri operativi della pagina dei dettagli dell'endpoint.

Puoi modificare il periodo e la statistica che desideri monitorare per i parametri in una determinata sezione, nonché il periodo di tempo per il quale desideri visualizzare i dati dei parametri. Puoi anche aggiungere e rimuovere i widget dei parametri dalla vista per ogni sezione scegliendo Aggiungi widget. Nella finestra di dialogo Aggiungi widget, puoi selezionare e deselezionare i parametri che desideri visualizzare.

I parametri disponibili possono dipendere dal tipo di endpoint. Ad esempio, gli endpoint serverless hanno alcuni parametri che non sono disponibili per gli endpoint in tempo reale. Per informazioni più specifiche sui parametri per tipo di endpoint, consulta le pagine seguenti:

Impostazioni

Puoi scegliere la scheda Impostazioni per visualizzare informazioni aggiuntive sull'endpoint, come le impostazioni di acquisizione dei dati, la configurazione dell'endpoint e i tag.

Allarmi

Dalla scheda Allarmi della pagina dei dettagli dell'endpoint, puoi visualizzare e creare semplici allarmi metrici di soglia statici, in cui specifichi un valore di soglia per una metrica. Se il parametro supera il valore di soglia, l'allarme entra nello stato ALARM. Per ulteriori informazioni sugli CloudWatch allarmi, consulta Using Amazon CloudWatch alarms.

Nella sezione di Riepilogo dell'endpoint, puoi visualizzare il campo Allarmi, che indica quanti allarmi sono attualmente attivi sul tuo endpoint.

Per visualizzare quali allarmi sono presenti nello stato ALARM, scegli la scheda Allarmi. La scheda Allarmi mostra un elenco completo degli allarmi degli endpoint, insieme a dettagli sul loro stato e sulle loro condizioni. La schermata seguente mostra un elenco degli allarmi di questa sezione che sono stati configurati per un endpoint.

Schermata della scheda degli allarmi nella pagina dei dettagli degli endpoint che mostra un elenco di allarmi. CloudWatch

Lo stato di un allarme può essere In alarm, OK o Insufficient data se non vengono raccolti abbastanza dati sui parametri.

Per creare un nuovo allarme per l'endpoint, eseguire le seguenti operazioni:

  1. Nella scheda Allarmi, scegliere Crea allarme.

  2. Si apre la pagina Crea allarme. In Nome allarme, specificare un nome per l'allarme.

  3. (Facoltativo) Immetti un nome e una descrizione per l'allarme.

  4. Per Metric, scegli la CloudWatch metrica che desideri venga monitorata dall'allarme.

  5. Per Nome della variante, scegli la variante del modello di endpoint che desideri monitorare.

  6. Per Statistica, scegli una delle statistiche disponibili per il parametro selezionato.

  7. Per Periodo, scegli il periodo di tempo da utilizzare per il calcolo di ogni valore statistico. Ad esempio, se scegli la statistica Media e un periodo di 5 minuti, ogni punto dati monitorato dall'allarme è la media dei punti dati del parametro a intervalli di 5 minuti.

  8. Per Periodi di valutazione, inserisci il numero di punti dati che desideri che l'allarme consideri quando valuta se inserire o meno lo stato di allarme.

  9. Per Condizione, scegli il condizionale che desideri utilizzare per la soglia di allarme.

  10. Per Valore di soglia, inserisci il valore desiderato per la soglia.

  11. (Facoltativo) Per Notifica, puoi scegliere Aggiungi notifica per creare o specificare un argomento Amazon SNS che riceva una notifica quando lo stato dell'allarme cambia.

  12. Scegli Crea allarme.

Dopo aver creato l'allarme, puoi tornare alla scheda Allarmi per visualizzarne lo stato in qualsiasi momento. Da questa sezione, puoi anche selezionare l'allarme e modificarlo o eliminarlo.