Kompiler SageMaker Pelatihan Amazon - Amazon SageMaker
Apa itu SageMaker Training Compiler?Cara Kerjanya

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kompiler SageMaker Pelatihan Amazon

penting

Amazon Web Services (AWS) mengumumkan bahwa tidak akan ada rilis baru atau versi SageMaker Training Compiler. Anda dapat terus menggunakan SageMaker Training Compiler melalui AWS Deep Learning Containers (DLCs) for SageMaker Training yang ada. Penting untuk dicatat bahwa meskipun yang ada DLCs tetap dapat diakses, mereka tidak akan lagi menerima tambalan atau pembaruan AWS, sesuai dengan Kebijakan Dukungan Framework AWS Deep Learning Containers.

Gunakan Amazon SageMaker Training Compiler untuk melatih model deep learning (DL) lebih cepat pada GPU instans skalabel yang dikelola oleh. SageMaker

Apa itu SageMaker Training Compiler?

Model S tate-of-the-art deep learning (DL) terdiri dari jaringan saraf berlapis-lapis yang kompleks dengan miliaran parameter yang dapat memakan waktu ribuan GPU jam untuk dilatih. Mengoptimalkan model seperti itu pada infrastruktur pelatihan membutuhkan pengetahuan luas tentang DL dan rekayasa sistem; ini menantang bahkan untuk kasus penggunaan yang sempit. Meskipun ada implementasi open-source dari kompiler yang mengoptimalkan proses pelatihan DL, mereka dapat kekurangan fleksibilitas untuk mengintegrasikan kerangka kerja DL dengan beberapa perangkat keras seperti instance. GPU

SageMaker Training Compiler adalah kemampuan SageMaker yang membuat hard-to-implement pengoptimalan ini untuk mengurangi waktu pelatihan pada instance. GPU Kompiler mengoptimalkan model DL untuk mempercepat pelatihan dengan lebih efisien menggunakan instance SageMaker machine learning (ML). GPU SageMaker Training Compiler tersedia tanpa biaya tambahan di dalamnya SageMaker dan dapat membantu mengurangi total waktu yang dapat ditagih karena mempercepat pelatihan.

Diagram konseptual tentang bagaimana SageMaker Training Compiler bekerja dengan. SageMaker

SageMaker Training Compiler diintegrasikan ke dalam AWS Deep Learning Containers (DLCs). Dengan menggunakan SageMaker Training Compiler—enabled AWS DLCs, Anda dapat mengkompilasi dan mengoptimalkan tugas pelatihan pada GPU instance dengan sedikit perubahan pada kode Anda. Bawa model deep learning Anda SageMaker dan aktifkan SageMaker Training Compiler untuk mempercepat kecepatan pekerjaan pelatihan Anda pada instans SageMaker ML untuk komputasi yang dipercepat.

Cara Kerjanya

SageMaker Training Compiler mengonversi model DL dari representasi bahasa tingkat tinggi menjadi instruksi yang dioptimalkan perangkat keras. Secara khusus, SageMaker Training Compiler menerapkan pengoptimalan tingkat grafik, pengoptimalan tingkat rendah data, dan pengoptimalan backend untuk menghasilkan model yang dioptimalkan yang secara efisien menggunakan sumber daya perangkat keras. Hasilnya, Anda dapat melatih model Anda lebih cepat daripada saat Anda melatihnya tanpa kompilasi.

Ini adalah proses dua langkah untuk mengaktifkan SageMaker Training Compiler untuk pekerjaan pelatihan Anda:

  1. Bawa skrip DL Anda sendiri dan, jika perlu, beradaptasi untuk mengkompilasi dan melatih dengan SageMaker Training Compiler. Untuk mempelajari selengkapnya, lihat Bawa Model Pembelajaran Mendalam Anda Sendiri.

  2. Buat objek SageMaker estimator dengan parameter konfigurasi compiler menggunakan Python SageMaker . SDK

    1. Aktifkan SageMaker Training Compiler dengan menambahkan compiler_config=TrainingCompilerConfig() ke kelas SageMaker estimator.

    2. Sesuaikan hiperparameter (batch_sizedanlearning_rate) untuk memaksimalkan manfaat yang disediakan oleh SageMaker Training Compiler.

      Kompilasi melalui SageMaker Training Compiler mengubah jejak memori model. Paling umum, ini bermanifestasi sebagai pengurangan pemanfaatan memori dan konsekuensi peningkatan ukuran batch terbesar yang dapat ditampung pada. GPU Dalam beberapa kasus, kompiler secara cerdas mempromosikan caching yang mengarah pada penurunan ukuran batch terbesar yang dapat muat di file. GPU Perhatikan bahwa jika Anda ingin mengubah ukuran batch, Anda harus menyesuaikan tingkat pembelajaran dengan tepat.

      Untuk referensi untuk batch_size diuji untuk model populer, lihatModel yang Diuji.

      Saat Anda menyesuaikan ukuran batch, Anda juga harus menyesuaikannya learning_rate dengan tepat. Untuk praktik terbaik untuk menyesuaikan tingkat pembelajaran bersama dengan perubahan ukuran batch, lihatSageMaker Praktik dan Pertimbangan Terbaik Kompiler Pelatihan.

    3. Dengan menjalankan metode estimator.fit() kelas, SageMaker mengkompilasi model Anda dan memulai pekerjaan pelatihan.

    Untuk petunjuk tentang cara meluncurkan pekerjaan pelatihan, lihatAktifkan Kompiler SageMaker Pelatihan.

SageMaker Training Compiler tidak mengubah model terlatih akhir, sekaligus memungkinkan Anda untuk mempercepat pekerjaan pelatihan dengan lebih efisien menggunakan GPU memori dan menyesuaikan ukuran batch yang lebih besar per iterasi. Model terlatih terakhir dari pekerjaan pelatihan yang dipercepat kompiler identik dengan model dari pekerjaan pelatihan biasa.

Tip

SageMaker Training Compiler hanya mengkompilasi model DL untuk pelatihan pada GPUinstance yang didukung yang dikelola oleh. SageMaker Untuk mengkompilasi model Anda untuk inferensi dan menerapkannya untuk dijalankan di mana saja di cloud dan di tepi, gunakan SageMaker kompiler Neo.

Topik