Monitora l'utilizzo delle risorse di AWS calcolo in Amazon Studio Classic SageMaker

Per monitorare l'utilizzo delle risorse di calcolo del tuo lavoro di formazione, utilizza gli strumenti di monitoraggio offerti da Amazon SageMaker Debugger.

Per qualsiasi lavoro di formazione eseguito in SageMaker AI utilizzando SageMaker PythonSDK, Debugger raccoglie metriche di base sull'utilizzo delle risorse, come utilizzo, utilizzo, CPU utilizzo della GPU memoria, rete e tempo di attesa I/O ogni GPU 500 millisecondi. Per visualizzare la dashboard delle metriche di utilizzo delle risorse del tuo lavoro di formazione, usa semplicemente l'interfaccia utente di Debugger in Studio Experiments. SageMaker SageMaker

Le operazioni e le fasi di deep learning potrebbero funzionare a intervalli di millisecondi. Rispetto ai CloudWatch parametri di Amazon, che raccolgono i parametri a intervalli di 1 secondo, Debugger fornisce una granularità più precisa dei parametri di utilizzo delle risorse, fino a intervalli di 100 millisecondi (0,1 secondi), in modo da poter approfondire le metriche a livello di un'operazione o di una fase.

Se desideri modificare l'intervallo di tempo della raccolta di parametri, puoi aggiungere un parametro per la configurazione della profilazione all’utilità di avvio del processo di addestramento. Ad esempio, se utilizzi SageMaker AI PythonSDK, devi passare il profiler_config parametro quando crei un oggetto estimatore. Per informazioni su come regolare l'intervallo di raccolta dei parametri di utilizzo delle risorse, consulta Modello di codice per la configurazione di un oggetto di stima SageMaker AI con i moduli SageMaker Debugger Python in AI Python SageMaker SDK e poi Configurazione delle impostazioni per la profilazione di base dell'utilizzo delle risorse di sistema.

Inoltre, puoi aggiungere strumenti di rilevamento dei problemi denominati regole di profilazione integrate fornite da Debugger. SageMaker Le regole di profilazione integrate eseguono analisi rispetto ai parametri di utilizzo delle risorse e rilevano eventuali problemi alle prestazioni di calcolo. Per ulteriori informazioni, consulta Usa le regole di profilazione integrate gestite da Amazon SageMaker Debugger. È possibile ricevere i risultati dell'analisi delle regole tramite l'interfaccia utente Debugger in Studio Experiments o il SageMaker Debugger Profiling Report SageMaker . SageMaker Puoi anche creare regole di profilazione personalizzate usando SageMaker PythonSDK.

Per ulteriori informazioni sulle funzionalità di monitoraggio fornite da SageMaker Debugger, consulta i seguenti argomenti.