Bagaimana Klasifikasi Teks - TensorFlow Bekerja

Klasifikasi Teks - TensorFlow algoritma mengambil teks sebagai mengklasifikasikannya ke dalam salah satu label kelas output. Jaringan pembelajaran mendalam seperti BERTsangat akurat untuk klasifikasi teks. Ada juga jaringan pembelajaran mendalam yang dilatih pada kumpulan data teks besar, seperti TextNet, yang memiliki lebih dari 11 juta teks dengan sekitar 11.000 kategori. Setelah jaringan dilatih dengan TextNet data, Anda kemudian dapat menyempurnakan jaringan pada kumpulan data dengan fokus khusus untuk melakukan tugas klasifikasi teks yang lebih spesifik. Klasifikasi SageMaker Teks Amazon - TensorFlow algoritma mendukung pembelajaran transfer pada banyak model yang telah dilatih sebelumnya yang tersedia di TensorFlow Hub.

Menurut jumlah label kelas dalam data pelatihan Anda, lapisan klasifikasi teks dilampirkan ke TensorFlow model pilihan Anda yang telah dilatih sebelumnya. Lapisan klasifikasi terdiri dari lapisan putus sekolah, lapisan padat, dan lapisan yang terhubung penuh dengan regularisasi 2-norma, dan diinisialisasi dengan bobot acak. Anda dapat mengubah nilai hyperparameter untuk tingkat putus sekolah dari lapisan putus sekolah dan faktor regularisasi L2 untuk lapisan padat.

Anda dapat menyempurnakan seluruh jaringan (termasuk model yang telah dilatih sebelumnya) atau hanya lapisan klasifikasi teratas pada data pelatihan baru. Dengan metode pembelajaran transfer ini, pelatihan dengan kumpulan data yang lebih kecil dimungkinkan.