Akses data profil - Amazon SageMaker

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Akses data profil

TrainingJobKelas SMDebug membaca data dari bucket S3 tempat metrik sistem dan kerangka kerja disimpan.

Untuk mengatur TrainingJob objek dan mengambil file acara profiling dari pekerjaan pelatihan

from smdebug.profiler.analysis.notebook_utils.training_job import TrainingJob
tj = TrainingJob(training_job_name, region)
Tip

Anda perlu menentukan training_job_name dan region parameter untuk masuk ke pekerjaan pelatihan. Ada dua cara untuk menentukan informasi pekerjaan pelatihan:

  • Gunakan SageMaker Python SDK saat estimator masih melekat pada pekerjaan pelatihan.

    import sagemaker
training_job_name=estimator.latest_training_job.job_name
region=sagemaker.Session().boto_region_name

  • Lulus string secara langsung.

    training_job_name="your-training-job-name-YYYY-MM-DD-HH-MM-SS-SSS"
region="us-west-2"
catatan

Secara default, SageMaker Debugger mengumpulkan metrik sistem untuk memantau pemanfaatan sumber daya perangkat keras dan kemacetan sistem. Menjalankan fungsi berikut, Anda mungkin menerima pesan kesalahan terkait tidak tersedianya metrik kerangka kerja. Untuk mengambil data profil kerangka kerja dan mendapatkan wawasan tentang operasi kerangka kerja, Anda harus mengaktifkan pembuatan profil kerangka kerja.

  • Jika Anda menggunakan SageMaker Python SDK untuk memanipulasi permintaan pekerjaan pelatihan Anda, teruskan framework_profile_params ke profiler_config argumen estimator Anda. Untuk mempelajari selengkapnya, lihat Mengkonfigurasi Profil Kerangka SageMaker Debugger.

  • Jika Anda menggunakan Studio Classic, aktifkan pembuatan profil menggunakan tombol toggle Profiling di dasbor wawasan Debugger. Untuk mempelajari lebih lanjut, lihat Pengontrol Dasbor Wawasan SageMaker Debugger.

Untuk mengambil deskripsi deskripsi pekerjaan pelatihan dan URI bucket S3 tempat data metrik disimpan

tj.describe_training_job()
tj.get_config_and_profiler_s3_output_path()

Untuk memeriksa apakah metrik sistem dan kerangka kerja tersedia dari URI S3

tj.wait_for_sys_profiling_data_to_be_available()
tj.wait_for_framework_profiling_data_to_be_available()

Untuk membuat objek pembaca sistem dan kerangka kerja setelah data metrik tersedia

system_metrics_reader = tj.get_systems_metrics_reader()
framework_metrics_reader = tj.get_framework_metrics_reader()

Untuk menyegarkan dan mengambil file acara pelatihan terbaru

Objek pembaca memiliki metode yang diperluasrefresh_event_file_list(),, untuk mengambil file acara pelatihan terbaru.

system_metrics_reader.refresh_event_file_list()
framework_metrics_reader.refresh_event_file_list()