Come TensorFlow funziona la classificazione del testo

L' TensorFlow algoritmo Text Classification - prende il testo così come lo classifica in una delle etichette della classe di output. Reti di deep learning come BERTquelle estremamente accurate per la classificazione del testo. Esistono anche reti di deep learning addestrate su set di dati di testo di grandi dimensioni, ad esempio TextNet, che contiene più di 11 milioni di testi con circa 11.000 categorie. Dopo che una rete è stata addestrata con TextNet i dati, è possibile perfezionare la rete su un set di dati con particolare attenzione per eseguire attività di classificazione del testo più specifiche. L' TensorFlow algoritmo Amazon SageMaker Text Classification supporta il transfer learning su molti modelli preaddestrati disponibili nell' TensorFlow Hub.

In base al numero di etichette delle classi nei dati di allenamento, al TensorFlow modello preaddestrato di tua scelta viene associato un livello di classificazione del testo. Il livello di classificazione è costituito da uno livello dropout, un livello denso e un livello completamente connesso con regolarizzatore norma 2 inizializzato con pesi casuali. Puoi modificare i valori degli iperparametri per la percentuale di dropout del livello di dropout e il fattore di regolarizzazione L2 per il livello denso.

Puoi ottimizzare l'intera rete (incluso il modello preaddestrato) o solo il livello di classificazione superiore in base ai nuovi dati di addestramento. Con questo metodo di trasferimento dell'addestramento, puoi eseguire l’addestramento di set di dati più piccoli.