View a markdown version of this page

Kompil SageMaker er Pelatihan Amazon - Amazon SageMaker AI
Apa itu Tra SageMaker ining Compiler?Cara Kerjanya

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kompil SageMaker er Pelatihan Amazon

penting

Amazon Web Services (AWS) mengumumkan bahwa tidak akan ada rilis baru atau versi Tra SageMaker ining Compiler. Anda dapat terus menggunakan Tra SageMaker ining Compiler melalui AWS Deep Learning Containers (DLC) yang ada untuk SageMaker Pelatihan. Penting untuk dicatat bahwa sementara DLC yang ada tetap dapat diakses, mereka tidak akan lagi menerima tambalan atau pembaruan dari AWS, sesuai dengan Kebijakan Dukungan Kerangka Kon AWS tainer Pembelajaran Mendalam.

Gunakan Amazon Tra SageMaker ining Compiler untuk melatih model pembelajaran mendalam (DL) lebih cepat pada instans GPU terukur yang dikelola oleh SageMaker AI.

Apa itu Tra SageMaker ining Compiler?

State-of-the-art Model pembelajaran mendalam (DL) terdiri dari jaringan saraf berlapis-lapis kompleks dengan miliaran parameter yang dapat memakan waktu ribuan jam GPU untuk dilatih. Mengoptimalkan model seperti itu pada infrastruktur pelatihan membutuhkan pengetahuan luas tentang DL dan rekayasa sistem; ini menantang bahkan untuk kasus penggunaan yang sempit. Meskipun ada implementasi open-source kompiler yang mengoptimalkan proses pelatihan DL, mereka mungkin tidak memiliki fleksibilitas untuk mengintegrasikan kerangka kerja DL dengan beberapa perangkat keras seperti instance GPU.

SageMaker Training Compiler adalah kemampuan SageMaker AI yang membuat pengoptimalan sulit diterapkan ini untuk mengurangi waktu pelatihan pada instans GPU. Kompiler mengoptimalkan model DL untuk mempercepat pelatihan dengan lebih efisien menggunakan instans GPU SageMaker AI machine learning (ML). SageMaker Training Compiler tersedia tanpa biaya tambahan dalam SageMaker AI dan dapat membantu mengurangi total waktu yang dapat ditagih karena mempercepat pelatihan.

Diagram konseptual tentang bagaimana Tra SageMaker ining Compiler bekerja dengan SageMaker AI.

SageMaker Training Compiler diintegrasikan ke dalam AWS Deep Learning Containers (DLC). Menggunakan AWS DLC SageMaker berkemampuan Training Compiler, Anda dapat mengkompilasi dan mengoptimalkan pekerjaan pelatihan pada instans GPU dengan sedikit perubahan pada kode Anda. Bawa model pembelajaran mendalam Anda ke SageMaker AI dan aktifkan Tra SageMaker ining Compiler untuk mempercepat kecepatan pekerjaan pelatihan Anda pada instans SageMaker AI ML untuk komputasi yang dipercepat.

Cara Kerjanya

SageMaker Training Compiler mengonversi model DL dari representasi bahasa tingkat tinggi menjadi instruksi yang dioptimalkan perangkat keras. Secara khusus, Tra SageMaker ining Compiler menerapkan pengoptimalan tingkat grafik, pengoptimalan tingkat aliran data, dan pengoptimalan backend untuk menghasilkan model yang dioptimalkan yang secara efisien menggunakan sumber daya perangkat keras. Hasilnya, Anda dapat melatih model Anda lebih cepat daripada saat Anda melatihnya tanpa kompilasi.

Ini adalah proses dua langkah untuk mengaktifkan Tra SageMaker ining Compiler untuk pekerjaan pelatihan Anda:

  1. Bawa skrip DL Anda sendiri dan, jika perlu, beradaptasi untuk mengkompilasi dan melatih dengan Tra SageMaker ining Compiler. Untuk mempelajari selengkapnya, lihat Bawa Model Pembelajaran Mendalam Anda Sendiri.

  2. Buat ModelTrainer objek SageMaker AI dengan parameter konfigurasi kompiler menggunakan SageMaker Python SDK.

    1. Aktifkan SageMaker Training Compiler dengan menambahkan compiler_config=TrainingCompilerConfig() ke ModelTrainer kelas SageMaker AI.

    2. Sesuaikan hyperparameter (batch_sizedanlearning_rate) untuk memaksimalkan manfaat yang diberikan Tra SageMaker ining Compiler.

      Kompilasi melalui Tra SageMaker ining Compiler mengubah jejak memori model. Paling umum, ini bermanifestasi sebagai pengurangan pemanfaatan memori dan peningkatan konsekuensinya dalam ukuran batch terbesar yang dapat muat pada GPU. Dalam beberapa kasus, kompiler secara cerdas mempromosikan caching yang mengarah pada penurunan ukuran batch terbesar yang dapat muat pada GPU. Perhatikan bahwa jika Anda ingin mengubah ukuran batch, Anda harus menyesuaikan tingkat pembelajaran dengan tepat.

      Untuk referensi untuk batch_size diuji untuk model populer, lihatModel yang Diuji.

      Saat Anda menyesuaikan ukuran batch, Anda juga harus menyesuaikan dengan learning_rate tepat. Untuk praktik terbaik untuk menyesuaikan tingkat pembelajaran bersama dengan perubahan ukuran batch, lihatSageMaker Praktik dan Pertimbangan Terbaik Kompiler Pelatihan.

    3. Dengan menjalankan metode model_trainer.train() kelas, SageMaker AI mengkompilasi model Anda dan memulai pekerjaan pelatihan.

    Untuk petunjuk tentang cara meluncurkan pekerjaan pelatihan, lihatAktifkan Kom SageMaker piler Pelatihan.

SageMaker Training Compiler tidak mengubah model terlatih akhir, sementara memungkinkan Anda untuk mempercepat pekerjaan pelatihan dengan lebih efisien menggunakan memori GPU dan menyesuaikan ukuran batch yang lebih besar per iterasi. Model terlatih terakhir dari pekerjaan pelatihan yang dipercepat kompiler identik dengan model dari pekerjaan pelatihan biasa.

Tip

SageMaker Training Compiler hanya mengkompilasi model DL untuk pelatihan pada instans GPU yang didukung yang dikelola oleh SageMaker AI. Untuk mengkompilasi model Anda untuk inferensi dan menyebarkannya agar berjalan di mana saja di cloud dan di tepi, gunakan kompil er SageMaker Neo.

Topik