SageMaker Kompiler Pelatihan FAQ

Gunakan FAQ item berikut untuk menemukan jawaban atas pertanyaan umum tentang SageMaker Training Compiler.

T. Bagaimana saya tahu SageMaker Training Compiler bekerja?

Jika Anda berhasil meluncurkan tugas pelatihan dengan SageMaker Training Compiler, Anda menerima pesan log berikut:

T. Model mana yang dipercepat oleh SageMaker Training Compiler?

SageMaker Training Compiler mendukung model pembelajaran mendalam paling populer dari perpustakaan transformer Hugging Face. Dengan sebagian besar operator yang didukung kompiler, model ini dapat dilatih lebih cepat dengan SageMaker Training Compiler. Model yang dapat dikompilasi termasuk tetapi tidak terbatas pada hal-hal berikut:bert-base-cased,,,,,,,,bert-base-chinese,,bert-base-uncased,,distilbert-base-uncased,distilbert-base-uncased-finetuned-sst-2-english,,gpt2,,roberta-base,roberta-large,,t5-base,,, xlm-roberta-base Kompiler bekerja dengan sebagian besar operator DL dan struktur data dan dapat mempercepat banyak model DL lainnya di luar yang telah diuji.

T. Apa yang terjadi jika saya mengaktifkan SageMaker Training Compiler dengan model yang tidak diuji?

Untuk model yang belum teruji, Anda mungkin perlu memodifikasi skrip pelatihan terlebih dahulu agar kompatibel dengan SageMaker Training Compiler. Untuk informasi lebih lanjut, lihat Bawa Model Pembelajaran Mendalam Anda Sendiri dan ikuti petunjuk tentang cara menyiapkan skrip pelatihan Anda.

Setelah Anda memperbarui skrip pelatihan Anda, Anda dapat memulai pekerjaan pelatihan. Kompiler melanjutkan untuk mengkompilasi model. Namun, kecepatan pelatihan mungkin tidak meningkat dan bahkan mungkin menurun relatif terhadap baseline dengan model yang belum teruji. Anda mungkin perlu menyesuaikan kembali parameter pelatihan seperti batch_size dan learning_rate untuk mencapai manfaat percepatan apa pun.

Jika kompilasi model yang belum teruji gagal, kompiler mengembalikan kesalahan. Lihat SageMaker Pemecahan Masalah Kompiler Pelatihan untuk informasi rinci tentang jenis kegagalan dan pesan kesalahan.

T. Apakah saya akan selalu mendapatkan pekerjaan pelatihan yang lebih cepat dengan SageMaker Training Compiler?

Tidak, belum tentu. Pertama, SageMaker Training Compiler menambahkan beberapa overhead kompilasi sebelum proses pelatihan yang sedang berlangsung dapat dipercepat. Pekerjaan pelatihan yang dioptimalkan harus berjalan cukup lama untuk diamortisasi dan menebus overhead kompilasi tambahan ini di awal pekerjaan pelatihan.

Selain itu, seperti halnya proses pelatihan model lainnya, pelatihan dengan parameter suboptimal dapat meningkatkan waktu pelatihan. SageMaker Training Compiler dapat mengubah karakteristik pekerjaan pelatihan dengan, misalnya, mengubah jejak memori pekerjaan. Karena perbedaan ini, Anda mungkin perlu menyesuaikan kembali parameter pekerjaan pelatihan Anda untuk mempercepat pelatihan. Tabel referensi yang menentukan parameter berkinerja terbaik untuk pekerjaan pelatihan dengan jenis dan model instans yang berbeda dapat ditemukan diModel yang Diuji.

Akhirnya, beberapa kode dalam skrip pelatihan mungkin menambahkan overhead tambahan atau mengganggu grafik komputasi yang dikompilasi dan pelatihan yang lambat. Jika bekerja dengan model yang disesuaikan atau belum teruji, lihat instruksi diPraktik Terbaik untuk Menggunakan Kompiler SageMaker Pelatihan dengan/XLA PyTorch.

T. Dapatkah saya selalu menggunakan ukuran batch yang lebih besar dengan SageMaker Training Compiler?

Ukuran batch meningkat di sebagian besar, tetapi tidak semua, kasus. Pengoptimalan yang dilakukan oleh SageMaker Training Compiler dapat mengubah karakteristik pekerjaan pelatihan Anda, seperti jejak memori. Biasanya, pekerjaan Training Compiler menempati lebih sedikit memori daripada pekerjaan pelatihan yang tidak dikompilasi dengan kerangka kerja asli, yang memungkinkan ukuran batch yang lebih besar selama pelatihan. Ukuran batch yang lebih besar, dan penyesuaian yang sesuai dengan tingkat pembelajaran, meningkatkan throughput pelatihan dan dapat mengurangi total waktu pelatihan.

Namun, mungkin ada kasus di mana SageMaker Training Compiler mungkin benar-benar meningkatkan jejak memori berdasarkan skema pengoptimalannya. Compiler menggunakan model biaya analitis untuk memprediksi jadwal eksekusi dengan biaya eksekusi terendah untuk setiap operator komputasi intensif. Model ini dapat menemukan jadwal optimal yang meningkatkan penggunaan memori. Dalam hal ini, Anda tidak akan dapat meningkatkan ukuran batch, tetapi throughput sampel Anda masih lebih tinggi.

T. Apakah SageMaker Training Compiler bekerja dengan fitur SageMaker pelatihan lainnya, seperti perpustakaan pelatihan SageMaker terdistribusi dan Debugger? SageMaker

SageMaker Training Compiler saat ini tidak kompatibel dengan SageMaker pustaka pelatihan terdistribusi.

SageMaker Training Compiler kompatibel dengan SageMaker Debugger, tetapi Debugger mungkin menurunkan kinerja komputasi dengan menambahkan overhead.

T. Apakah SageMaker Training Compiler mendukung kontainer kustom (membawa kontainer Anda sendiri)?

SageMaker Training Compiler disediakan melalui AWS Deep Learning Containers, dan Anda dapat memperluas subset container untuk disesuaikan dengan kasus penggunaan Anda. Wadah yang diperpanjang dari AWS DLCs didukung oleh SageMaker Training Compiler. Untuk informasi selengkapnya, lihat Kerangka Kerja yang Didukung danMenggunakan SageMaker Python SDK dan Extending SageMaker Framework Deep Learning Containers. Jika Anda membutuhkan dukungan lebih lanjut, hubungi SageMaker tim melalui AWS Support atau Forum AWS Pengembang untuk Amazon SageMaker.