Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Praktik Terbaik untuk Penyetelan Hyperparameter

Optimasi hyperparameter (HPO) bukanlah proses yang sepenuhnya otomatis. Untuk meningkatkan pengoptimalan, ikuti praktik terbaik ini untuk penyetelan hyperparameter.

Memilih strategi penyetelan

Untuk pekerjaan besar, menggunakan strategi penyetelan Hyperband dapat mengurangi waktu komputasi. Hyperband memiliki mekanisme penghentian awal untuk menghentikan pekerjaan yang berkinerja buruk. Hyperband juga dapat mengalokasikan sumber daya ke konfigurasi hyperparameter yang dimanfaatkan dengan baik dan menjalankan pekerjaan paralel. Untuk pekerjaan pelatihan yang lebih kecil menggunakan waktu proses yang lebih sedikit, gunakan pencarian acak atau pengoptimalan https://docs.aws.amazon.com/sagemaker/latest/dg/automatic-model-tuning-how-it-works.html#automatic-tuning-bayesian-optimization.title Bayesian.

Gunakan pengoptimalan Bayesian untuk membuat keputusan yang semakin tepat tentang meningkatkan konfigurasi hyperparameter di proses berikutnya. Optimasi Bayesian menggunakan informasi yang dikumpulkan dari proses sebelumnya untuk meningkatkan proses selanjutnya. Karena sifatnya yang berurutan, optimasi Bayesian tidak dapat skala secara besar-besaran.

Gunakan pencarian acak untuk menjalankan sejumlah besar pekerjaan paralel. Dalam pencarian acak, pekerjaan berikutnya tidak bergantung pada hasil dari pekerjaan sebelumnya dan dapat dijalankan secara independen. Dibandingkan dengan strategi lain, pencarian acak mampu menjalankan jumlah terbesar pekerjaan paralel.

Gunakan pencarian grid untuk mereproduksi hasil pekerjaan penyetelan, atau jika kesederhanaan dan transparansi algoritma pengoptimalan penting. Anda juga dapat menggunakan pencarian grid untuk menjelajahi seluruh ruang pencarian hyperparameter secara merata. Pencarian grid secara metodis mencari melalui setiap kombinasi hyperparameter untuk menemukan nilai hyperparameter yang optimal. Tidak seperti pencarian grid, optimasi Bayesian, pencarian acak dan Hyperband semuanya menggambar hyperparameter secara acak dari ruang pencarian. Karena pencarian grid menganalisis setiap kombinasi hyperparameter, nilai hyperparameter optimal akan identik antara pekerjaan tuning yang menggunakan hyperparameter yang sama.

Memilih jumlah hyperparameter

Selama pengoptimalan, kompleksitas komputasi dari pekerjaan penyetelan hyperparameter bergantung pada hal berikut:

Meskipun Anda dapat secara bersamaan menentukan hingga 30 hyperparameter, membatasi pencarian Anda ke jumlah yang lebih kecil dapat mengurangi waktu komputasi. Mengurangi waktu komputasi memungkinkan SageMaker AI untuk menyatu lebih cepat ke konfigurasi hyperparameter yang optimal.

Memilih rentang hyperparameter

Kisaran nilai yang Anda pilih untuk dicari dapat mempengaruhi optimasi hyperparameter secara negatif. Misalnya, rentang yang mencakup setiap nilai hyperparameter yang mungkin dapat menyebabkan waktu komputasi yang besar dan model yang tidak menggeneralisasi dengan baik ke data yang tidak terlihat. Jika Anda tahu bahwa menggunakan subset dari rentang terbesar yang mungkin sesuai untuk kasus penggunaan Anda, pertimbangkan untuk membatasi rentang ke subset tersebut.

Menggunakan skala yang benar untuk hyperparameter

Selama penyetelan hyperparameter, SageMaker AI mencoba menyimpulkan apakah hyperparameter Anda berskala log atau berskala linier. Awalnya, SageMaker AI mengasumsikan penskalaan linier untuk hyperparameter. Jika hyperparameter diskalakan log, memilih skala yang benar akan membuat pencarian Anda lebih efisien. Anda juga dapat Auto memilih ScalingType di CreateHyperParameterTuningJob API jika Anda ingin SageMaker AI mendeteksi skala untuk Anda.

Memilih jumlah pekerjaan pelatihan paralel terbaik

Anda dapat menggunakan hasil uji coba sebelumnya untuk meningkatkan kinerja uji coba berikutnya. Pilih jumlah pekerjaan paralel terbesar yang akan memberikan hasil inkremental yang berarti yang juga berada dalam wilayah dan batasan komputasi akun Anda. Gunakan MaxParallelTrainingJobs bidang untuk membatasi jumlah pekerjaan pelatihan yang dapat diluncurkan oleh pekerjaan penyetelan hyperparameter secara paralel. Untuk informasi selengkapnya, lihat Menjalankan beberapa pekerjaan HPO secara paralel di Amazon SageMaker AI.

Menjalankan pekerjaan pelatihan pada beberapa instance

Ketika pekerjaan pelatihan berjalan pada beberapa mesin dalam mode terdistribusi, setiap mesin memancarkan metrik objektif. HPO hanya dapat menggunakan salah satu metrik objektif yang dipancarkan ini untuk mengevaluasi kinerja model. Dalam mode terdistribusi, HPO menggunakan metrik objektif yang dilaporkan oleh pekerjaan terakhir yang berjalan di semua instans.

Menggunakan benih acak untuk mereproduksi konfigurasi hyperparameter

Anda dapat menentukan bilangan bulat sebagai benih acak untuk penyetelan hyperparameter dan menggunakan benih itu selama pembuatan hyperparameter. Kemudian, Anda dapat menggunakan benih yang sama untuk mereproduksi konfigurasi hyperparameter yang konsisten dengan hasil Anda sebelumnya. Untuk pencarian acak dan strategi Hyperband, menggunakan benih acak yang sama dapat memberikan reproduktifitas hingga 100% dari konfigurasi hyperparameter sebelumnya untuk pekerjaan penyetelan yang sama. Untuk strategi Bayesian, menggunakan benih acak yang sama akan meningkatkan reproduktifitas untuk pekerjaan penyetelan yang sama.