Comment TensorFlow fonctionne la classification des textes

L' TensorFlow algorithme Classification de texte prend le texte tel qu'il le classe dans l'une des étiquettes de classe de sortie. Les réseaux de deep learning tels que BERT sont très précis pour la classification textuelle. Il existe également des réseaux d'apprentissage en profondeur qui sont formés sur de grands ensembles de données textuelles, tels que TextNet, qui contient plus de 11 millions de textes répartis en environ 11 000 catégories. Une fois qu'un réseau a été entraîné à l'aide de TextNet données, vous pouvez affiner le réseau d'un jeu de données en mettant l'accent sur des tâches de classification de texte plus spécifiques. L' TensorFlow algorithme Amazon SageMaker AI Text Classification prend en charge l'apprentissage par transfert sur de nombreux modèles préentraînés disponibles dans le TensorFlow Hub.

En fonction du nombre d'étiquettes de cours figurant dans vos données d'entraînement, une couche de classification textuelle est attachée au TensorFlow modèle préentraîné de votre choix. La couche de classification se compose d'une couche d'abandon, d'une couche dense et d'une couche entièrement connectée avec une régularisation à 2 normes, et est initialisé avec des pondérations aléatoires. Vous pouvez modifier les valeurs d'hyperparamètre pour le taux d'abandon de la couche d'abandon et le facteur de régularisation L2 pour la couche dense.

Vous pouvez affiner le réseau entier (y compris le modèle pré-entraîné) ou uniquement la couche de classification supérieure sur les nouvelles données d'entraînement. Avec cette méthode d'apprentissage par transfert, un entraînement avec des jeux de données plus petits est possible.