Überwachen AWS Nutzung der Rechenressourcen in Amazon SageMaker Studio Classic

Verwenden Sie die von Amazon Debugger angebotenen Überwachungstools, um die Auslastung der Rechenressourcen Ihres Trainingsauftrags zu verfolgen. SageMaker

Für jeden Trainingsjob, den Sie mithilfe des SageMaker Python-SDK in SageMaker KI ausführen, erfasst Debugger alle 500 Millisekunden grundlegende Kennzahlen zur Ressourcenauslastung, wie CPU-Auslastung, GPU-Speicherauslastung, Netzwerk und I/O Wartezeit. Um das Dashboard mit den Metriken zur Ressourcennutzung Ihres Trainingsjobs zu sehen, verwenden Sie einfach die SageMaker Debugger-Benutzeroberfläche in Studio Experiments. SageMaker

Deep-Learning-Operationen und -Schritte können in Intervallen von Millisekunden ausgeführt werden. Im Vergleich zu CloudWatch Amazon-Metriken, die Metriken in Intervallen von 1 Sekunde erfassen, bietet Debugger eine feinere Granularität der Metriken zur Ressourcenauslastung in Intervallen von bis zu 100 Millisekunden (0,1 Sekunden), sodass Sie die Metriken auf der Ebene eines Vorgangs oder Schritts eingehend untersuchen können.

Wenn Sie das Zeitintervall für die Metrikerfassung ändern möchten, können Sie Ihrem Trainingsauftrag Launcher einen Parameter für die Profilkonfiguration hinzufügen. Wenn Sie beispielsweise das SageMaker AI Python SDK verwenden, müssen Sie den Parameter übergeben, wenn Sie ein Objekt erstellen. profiler_config ModelTrainer Informationen zur Anpassung des Erfassungsintervalls der Metriken zur Ressourcenauslastung finden Sie unter Codevorlage für die Konfiguration eines SageMaker AI-Schätzobjekts mit den SageMaker Debugger-Python-Modulen im AI Python SDK SageMaker und dann Konfigurieren Sie Einstellungen für die grundlegende Profilerstellung der Systemressourcenauslastung.

Darüber hinaus können Sie Tools zur Problemerkennung hinzufügen, die als integrierte Profilerstellungsregeln bezeichnet werden und vom SageMaker Debugger bereitgestellt werden. Die integrierten Profilerstellungsregeln führen Analysen anhand der Kennzahlen zur Ressourcenauslastung durch und erkennen Probleme mit der Rechenleistung. Weitere Informationen finden Sie unter Verwenden Sie integrierte Profiler-Regeln, die von Amazon SageMaker Debugger verwaltet werden. Sie können die Ergebnisse der Regelanalyse über die SageMaker Debugger-Benutzeroberfläche in SageMaker Studio Experiments oder den SageMaker Debugger Profiling Report abrufen. Sie können mithilfe des Python-SDK auch benutzerdefinierte Profilerstellungsregeln erstellen. SageMaker

Weitere Informationen zu den vom SageMaker Debugger bereitgestellten Überwachungsfunktionen finden Sie in den folgenden Themen.