Menyetel Model NTM - Amazon SageMaker

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menyetel Model NTM

Penyetelan model otomatis, juga dikenal sebagai tuning hyperparameter, menemukan versi terbaik dari model dengan menjalankan banyak pekerjaan yang menguji berbagai hiperparameter pada kumpulan data Anda. Anda memilih hyperparameters yang dapat disetel, rentang nilai untuk masing-masing, dan metrik objektif. Anda memilih metrik objektif dari metrik yang dihitung algoritme. Penyetelan model otomatis mencari hiperparameter yang dipilih untuk menemukan kombinasi nilai yang menghasilkan model yang mengoptimalkan metrik objektif.

Amazon SageMaker NTM adalah algoritma pembelajaran tanpa pengawasan yang mempelajari representasi laten dari koleksi besar data diskrit, seperti kumpulan dokumen. Representasi laten menggunakan variabel yang disimpulkan yang tidak diukur secara langsung untuk memodelkan pengamatan dalam kumpulan data. Penyetelan model otomatis pada NTM membantu Anda menemukan model yang meminimalkan kerugian atas data pelatihan atau validasi. Kehilangan pelatihan mengukur seberapa baik model sesuai dengan data pelatihan. Kehilangan validasi mengukur seberapa baik model dapat menggeneralisasi ke data yang tidak dilatih. Kehilangan pelatihan yang rendah menunjukkan bahwa model cocok dengan data pelatihan. Kehilangan validasi yang rendah menunjukkan bahwa suatu model tidak memenuhi data pelatihan sehingga harus dapat memodelkan dokumen dengan sukses yang belum dilatih. Biasanya, lebih baik jika kedua kerugian itu kecil. Namun, meminimalkan kehilangan pelatihan terlalu banyak dapat mengakibatkan overfitting dan meningkatkan kehilangan validasi, yang akan mengurangi keumuman model.

Untuk informasi lebih lanjut tentang penyetelan model, lihatLakukan penyetelan model otomatis dengan SageMaker.

Metrik yang Dihitung oleh Algoritma NTM

Algoritma NTM melaporkan satu metrik yang dihitung selama pelatihan:. validation:total_loss Kerugian total adalah jumlah dari kerugian rekonstruksi dan divergensi Kullback-Leibler. Saat menyetel nilai hyperparameter, pilih metrik ini sebagai tujuannya.

Nama Metrik Deskripsi Arah Optimasi
validation:total_loss

Total Kerugian pada set validasi

Minimalkan

Hiperparameter NTM yang dapat disetel

Anda dapat menyetel hyperparameters berikut untuk algoritma NTM. Biasanya menetapkan learning_rate nilai rendah mini_batch_size dan kecil menghasilkan kerugian validasi yang lebih rendah, meskipun mungkin perlu waktu lebih lama untuk dilatih. Kerugian validasi yang rendah tidak selalu menghasilkan topik yang lebih koheren seperti yang ditafsirkan oleh manusia. Pengaruh hiperparameter lain pada pelatihan dan kehilangan validasi dapat bervariasi dari kumpulan data ke kumpulan data. Untuk melihat nilai mana yang kompatibel, lihatHiperparameter NTM.

Nama Parameter Jenis Parameter Rentang yang Direkomendasikan
encoder_layers_activation

CategoricalParameterRanges

['sigmoid', 'tanh', 'relu']

learning_rate

ContinuousParameterRange

MinValue: 1e-4, MaxValue: 0,1

mini_batch_size

IntegerParameterRanges

MinValue: 16 MaxValue ,:2048

optimizer

CategoricalParameterRanges

['sgd', 'adam', 'adadelta']

rescale_gradient

ContinuousParameterRange

MinValue: 0,1, MaxValue: 1,0

weight_decay

ContinuousParameterRange

MinValue: 0.0, MaxValue: 1.0