Greifen Sie auf die Profildaten zu - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Greifen Sie auf die Profildaten zu

Die TrainingJob SMDebug-Klasse liest Daten aus dem S3-Bucket, in dem die System- und Framework-Metriken gespeichert sind.

So richten Sie ein TrainingJob Objekt ein und rufen die Profilergebnisdateien eines Trainingsauftrags ab

from smdebug.profiler.analysis.notebook_utils.training_job import TrainingJob
tj = TrainingJob(training_job_name, region)
Tipp

Sie müssen die training_job_name and region Parameter angeben, um einen Trainingsauftrag protokollieren zu können. Es gibt zwei Möglichkeiten, die Informationen zum Trainingsuftrag anzugeben:

  • Verwenden Sie das SageMaker Python-SDK, solange der Estimator noch an den Trainingsjob angehängt ist.

    import sagemaker
training_job_name=estimator.latest_training_job.job_name
region=sagemaker.Session().boto_region_name

  • Übergeben Sie Strings direkt.

    training_job_name="your-training-job-name-YYYY-MM-DD-HH-MM-SS-SSS"
region="us-west-2"
Anmerkung

Standardmäßig erfasst der SageMaker Debugger Systemmetriken, um die Auslastung der Hardwareressourcen und Systemengpässe zu überwachen. Wenn Sie die folgenden Funktionen ausführen, erhalten Sie möglicherweise Fehlermeldungen über die Nichtverfügbarkeit von Rahmenmetriken. Um Framework-Profiling-Daten abzurufen und Einblicke in die Framework-Operationen zu erhalten, müssen Sie das Framework-Profiling aktivieren.

  • Wenn Sie das SageMaker Python-SDK verwenden, um Ihre Trainingsjob-Anfrage framework_profile_params zu bearbeiten, übergeben Sie das an das profiler_config Argument Ihres Schätzers. Weitere Informationen finden Sie unter Configure SageMaker Debugger Framework Profiling.

  • Wenn Sie Studio Classic verwenden, aktivieren Sie die Profilerstellung mit der Umschaltfläche Profiling im Debugger Insights-Dashboard. Weitere Informationen finden Sie unter SageMaker Debugger Insights Dashboard Controller.

So rufen Sie eine Beschreibung des Trainingsauftrags und den URI des S3-Buckets ab, in dem die metrischen Daten gespeichert sind

tj.describe_training_job()
tj.get_config_and_profiler_s3_output_path()

So prüfen Sie, ob die System- und Rahmenmetriken über den S3-URI verfügbar sind

tj.wait_for_sys_profiling_data_to_be_available()
tj.wait_for_framework_profiling_data_to_be_available()

Erstellung von System- und Rahmenleseobjekten, nachdem die metrischen Daten verfügbar sind

system_metrics_reader = tj.get_systems_metrics_reader()
framework_metrics_reader = tj.get_framework_metrics_reader()

So aktualisieren und rufen Sie die neuesten Trainingsereignisdateien ab

Die Reader-Objekte verfügen über eine erweiterte Methode, refresh_event_file_list(), um die neuesten Trainingsereignisdateien abzurufen.

system_metrics_reader.refresh_event_file_list()
framework_metrics_reader.refresh_event_file_list()