Profilazione e ottimizzazione delle prestazioni di calcolo

Quando si addestrano modelli di deep learning all'avanguardia che crescono rapidamente di dimensioni, scalare il processo di addestramento di tali modelli su un cluster di GPU di grandi dimensioni e identificare i problemi di prestazioni di calcolo di miliardi e trilioni di operazioni e comunicazioni in ogni iterazione del processo di discesa del gradiente diventa una sfida.

SageMaker L'intelligenza artificiale fornisce strumenti di profilazione per visualizzare e diagnosticare problemi di calcolo così complessi derivanti dall'esecuzione di lavori di formazione su risorse di cloud computing. AWS L' SageMaker intelligenza artificiale offre due opzioni di profilazione: Amazon SageMaker Profiler e un monitoraggio dell'utilizzo delle risorse in Amazon Studio Classic. SageMaker Guarda le seguenti introduzioni delle due funzionalità per approfondimenti rapidi e scoprire quale usare in base alle tue esigenze.

Amazon Profiler SageMaker

Amazon SageMaker Profiler è una funzionalità di profilazione dell' SageMaker IA che ti consente di analizzare a fondo le risorse di calcolo assegnate durante l'addestramento di modelli di deep learning e ottenere visibilità sui dettagli a livello operativo. SageMaker Profiler fornisce moduli Python per aggiungere annotazioni o addestrare gli script e attivare Profiler. PyTorch TensorFlow SageMaker È possibile accedere ai moduli tramite SageMaker Python SDK e Deep Learning Containers. AWS

Con SageMaker Profiler, puoi tenere traccia di tutte le attività su CPU e GPU, come l'utilizzo di CPU e GPU, le esecuzioni del kernel sulle GPU, gli avvii del kernel sulle CPU, le operazioni di sincronizzazione, le operazioni di memoria tra CPU e GPU, le latenze tra gli avvii del kernel e le esecuzioni corrispondenti e il trasferimento di dati tra CPU e GPU.

SageMaker Profiler offre anche un'interfaccia utente (UI) che visualizza il profilo, un riepilogo statistico degli eventi profilati e la cronologia di un processo di formazione per il monitoraggio e la comprensione della relazione temporale degli eventi tra GPU e CPU.

Per ulteriori informazioni su Profiler, vedere. SageMaker Amazon SageMaker Profiler

Monitoraggio delle risorse di AWS calcolo in Amazon Studio Classic SageMaker

SageMaker L'intelligenza artificiale fornisce anche un'interfaccia utente in Studio Classic per il monitoraggio dell'utilizzo delle risorse ad alto livello, ma con maggiore granularità rispetto alle metriche di utilizzo predefinite raccolte dall'IA a. SageMaker CloudWatch

Per qualsiasi attività di formazione eseguita in SageMaker AI utilizzando SageMaker Python SDK, l' SageMaker intelligenza artificiale inizia a profilare le metriche di base sull'utilizzo delle risorse, come l'utilizzo della CPU, l'utilizzo della GPU, l'utilizzo della memoria della GPU, la rete e il tempo di attesa. I/O Raccoglie questi parametri di utilizzo delle risorse ogni 500 millisecondi.

Rispetto alle CloudWatch metriche di Amazon, che raccolgono le metriche a intervalli di 1 secondo, la funzionalità di monitoraggio dell' SageMaker IA offre una maggiore granularità delle metriche di utilizzo delle risorse fino a intervalli di 100 millisecondi (0,1 secondi), in modo da poter approfondire le metriche a livello di operazione o passaggio.

Per accedere alla dashboard per il monitoraggio delle metriche di utilizzo delle risorse di un lavoro di formazione, consulta l'interfaccia utente di SageMaker AI Debugger in SageMaker Studio Experiments.