Menggunakan aturan profiler bawaan yang dikelola oleh Amazon SageMaker Debugger - Amazon SageMaker

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan aturan profiler bawaan yang dikelola oleh Amazon SageMaker Debugger

Aturan SageMaker profiler bawaan Amazon Debugger menganalisis metrik sistem dan operasi kerangka kerja yang dikumpulkan selama pelatihan model. Debugger menawarkan ProfilerRule API operasi yang membantu mengonfigurasi aturan untuk memantau sumber daya dan operasi komputasi pelatihan dan untuk mendeteksi anomali. Misalnya, aturan pembuatan profil dapat membantu Anda mendeteksi apakah ada masalah komputasi seperti CPU kemacetan, waktu tunggu I/O yang berlebihan, beban kerja yang tidak seimbang di seluruh pekerja, dan sumber daya komputasi yang kurang dimanfaatkan. GPU Untuk melihat daftar lengkap aturan pembuatan profil bawaan yang tersedia, lihatDaftar aturan profiler bawaan Debugger. Topik berikut menunjukkan cara menggunakan aturan bawaan Debugger dengan pengaturan parameter default dan nilai parameter khusus.

catatan

Aturan bawaan disediakan melalui wadah SageMaker pemrosesan Amazon dan dikelola sepenuhnya oleh SageMaker Debugger tanpa biaya tambahan. Untuk informasi selengkapnya tentang penagihan, lihat halaman SageMaker Harga Amazon.

Gunakan aturan SageMaker profiler bawaan Debugger dengan pengaturan parameter defaultnya

Untuk menambahkan aturan bawaan SageMaker Debugger di estimator Anda, Anda perlu mengonfigurasi objek daftarrules. Kode contoh berikut menunjukkan struktur dasar daftar aturan bawaan SageMaker Debugger.

from sagemaker.debugger import Rule, ProfilerRule, rule_configs rules=[ ProfilerRule.sagemaker(rule_configs.BuiltInProfilerRuleName_1()), ProfilerRule.sagemaker(rule_configs.BuiltInProfilerRuleName_2()), ... ProfilerRule.sagemaker(rule_configs.BuiltInProfilerRuleName_n()), ... # You can also append more debugging rules in the Rule.sagemaker(rule_configs.*()) format. ] estimator=Estimator( ... rules=rules )

Untuk daftar lengkap aturan bawaan yang tersedia, lihatDaftar aturan profiler bawaan Debugger.

Untuk menggunakan aturan pembuatan profil dan memeriksa kinerja komputasi dan kemajuan pekerjaan pelatihan Anda, tambahkan aturan Debugger. ProfilerReport SageMaker Aturan ini mengaktifkan semua aturan bawaan di bawah keluarga Debugger ProfilerRuleProfilerRule. Selanjutnya, aturan ini menghasilkan laporan profil agregat. Untuk informasi selengkapnya, lihat Membuat Profil Laporan yang Dihasilkan Menggunakan SageMaker Debugger. Anda dapat menggunakan kode berikut untuk menambahkan aturan laporan pembuatan profil ke estimator pelatihan Anda.

from sagemaker.debugger import Rule, rule_configs rules=[ ProfilerRule.sagemaker(rule_configs.ProfilerReport()) ]

Saat Anda memulai pekerjaan pelatihan dengan ProfilerReport aturan, Debugger mengumpulkan data pemanfaatan sumber daya setiap 500 milidetik. Debugger menganalisis pemanfaatan sumber daya untuk mengidentifikasi apakah model Anda mengalami masalah kemacetan. Jika aturan mendeteksi anomali pelatihan, status evaluasi aturan berubah menjadi. IssueFound Anda dapat mengatur tindakan otomatis, seperti memberi tahu masalah pelatihan dan menghentikan pekerjaan pelatihan menggunakan CloudWatch Acara Amazon dan AWS Lambda. Untuk informasi selengkapnya, lihat Tindakan pada aturan Amazon SageMaker Debugger.

Gunakan aturan profiler bawaan Debugger dengan nilai parameter khusus

Jika Anda ingin menyesuaikan nilai parameter aturan bawaan dan menyesuaikan regex koleksi tensor, konfigurasikan rule_parameters parameter base_config and untuk metode ProfilerRule.sagemaker dan Rule.sagemaker class. Dalam kasus metode Rule.sagemaker kelas, Anda juga dapat menyesuaikan koleksi tensor melalui collections_to_save parameter. Untuk instruksi tentang cara menggunakan CollectionConfig kelas, lihatKonfigurasikan koleksi tensor menggunakan CollectionConfig API.

Gunakan templat konfigurasi berikut untuk aturan bawaan untuk menyesuaikan nilai parameter. Dengan mengubah parameter aturan sesuai keinginan, Anda dapat menyesuaikan sensitivitas aturan yang akan dimulai.

  • base_configArgumennya adalah di mana Anda memanggil metode aturan bawaan.

  • rule_parametersArgumennya adalah untuk menyesuaikan nilai kunci default dari aturan bawaan yang tercantum dalamDaftar aturan profiler bawaan Debugger.

Untuk informasi selengkapnya tentang kelas aturan Debugger, metode, dan parameter, lihat kelas Aturan SageMaker Debugger di Amazon Python. SageMaker SDK

from sagemaker.debugger import Rule, ProfilerRule, rule_configs, CollectionConfig rules=[ ProfilerRule.sagemaker( base_config=rule_configs.BuiltInProfilerRuleName(), rule_parameters={ "key": "value" } ) ]

Deskripsi parameter dan contoh kustomisasi nilai disediakan untuk setiap aturan diDaftar aturan profiler bawaan Debugger.

Untuk JSON konfigurasi tingkat rendah dari aturan bawaan Debugger menggunakan, lihat. CreateTrainingJob API Konfigurasikan Debugger menggunakan SageMaker API