Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Visualizzazione dello stato dell’endpoint
Se desideri utilizzare il tuo modello addestrato per eseguire inferenze su dati in tempo reale, distribuisci il modello su un endpoint in tempo reale. Per garantire una latenza adeguata delle previsioni, è necessario assicurarsi che le istanze che ospitano il modello funzionino in modo efficiente. La funzione di monitoraggio degli endpoint di Model Dashboard mostra informazioni in tempo reale sulla configurazione degli endpoint e consente di monitorare le prestazioni degli endpoint con metriche.
Monitoraggio delle impostazioni
Il Model Dashboard si collega alle pagine dei dettagli degli endpoint SageMaker AI esistenti che mostrano grafici in tempo reale delle metriche che puoi selezionare in Amazon. CloudWatch All'interno del dashboard, puoi tenere traccia di questi parametri mentre l'endpoint gestisce le richieste di inferenza in tempo reale. Alcune delle metriche che puoi selezionare sono elencate di seguito:
-
CpuUtilization: La somma dell'utilizzo di ogni singolo CPU core, con ciascuno compreso tra 0% e 100%. -
MemoryUtilization: percentuale di memoria utilizzata dai container su un'istanza dallo 0% al 100%. -
DiskUtilization: percentuale di spazio su disco utilizzato dai container su un'istanza dallo 0% al 100%.
Per l'elenco completo delle metriche che puoi visualizzare in tempo reale, vedi Metriche per il monitoraggio di Amazon SageMaker AI con Amazon CloudWatch.
Impostazioni di runtime
Amazon SageMaker AI supporta il ridimensionamento automatico (auto scaling) per i tuoi modelli ospitati. Auto scaling modifica dinamicamente il numero di istanze assegnate a un modello in risposta alle variazioni nel carico di lavoro. Quando il carico di lavoro aumenta, la scalabilità automatica offre più istanze online. Quando il carico di lavoro diminuisce, la scalabilità automatica rimuove le istanze non necessarie in modo da non pagare per le istanze assegnate che non vengono utilizzate. È possibile personalizzare le seguenti impostazioni di runtime nel Model Dashboard:
-
Aggiorna ponderazioni: modifica la quantità di carico di lavoro assegnata a ciascuna istanza con una ponderazione numerica. Per ulteriori informazioni sulla ponderazione delle istanze durante la scalabilità automatica, consulta Configurare la ponderazione delle istanze per Amazon Auto EC2 Scaling.
-
Aggiorna numero di istanze: modifica il numero totale di istanze in grado di soddisfare il tuo carico di lavoro quando aumenta.
Per ulteriori informazioni sulle impostazioni di runtime degli endpoint, consulta. CreateEndpointConfig
Impostazioni di configurazione degli endpoint
Le impostazioni di configurazione dell'endpoint visualizzano le impostazioni specificate durante la creazione dell'endpoint. Queste impostazioni indicano all' SageMaker IA quali risorse fornire per l'endpoint. Alcune impostazioni incluse sono le seguenti:
-
Acquisizione dei dati: è possibile scegliere di acquisire informazioni sugli input e output dell'endpoint. Ad esempio, è possibile che tu voglia campionare il traffico in entrata per verificare se i risultati sono correlati ai dati di addestramento. È possibile personalizzare la frequenza di campionamento, il formato dei dati archiviati e la posizione dei dati archiviati su Amazon S3. Per ulteriori informazioni sulla configurazione di acquisizione dati, consulta Acquisizione dei dati.
-
Varianti di produzione: consulta la discussione precedente in Impostazioni tempo di esecuzione.
-
Configurazione delle chiamate asincrone: se l'endpoint è asincrono, questa sezione include il numero massimo di richieste simultanee inviate dal client SageMaker AI al contenitore modello, la posizione Amazon S3 delle notifiche di successo e di errore e la posizione di output degli output degli endpoint. Per ulteriori informazioni sugli output asincroni, consulta Operazioni asincrone sugli endpoint.
-
Chiave di crittografia: è possibile inserire la chiave di crittografia se desideri crittografare i tuoi output.
Per ulteriori informazioni sulle impostazioni di configurazione degli endpoint, consulta. CreateEndpointConfig
Visualizza lo stato e la configurazione di un endpoint
Per visualizzare lo stato e la configurazione dell'endpoint di un modello, completa la seguente procedura:
-
Apri la console SageMaker AI
. -
Scegli Governance nel pannello di sinistra.
-
Scegli Pannello di controllo del modello.
-
Nella sezione Modelli del Pannello di controllo del modello, seleziona il nome del modello dell'endpoint che desideri visualizzare.
-
Seleziona il nome dell'endpoint nella sezione Endpoint.
