Come TensorFlow funziona la classificazione del testo

L' TensorFlow algoritmo di classificazione del testo - accetta il testo e lo classifica in una delle etichette della classe di output. Le reti di deep learning come BERT sono estremamente accurate per la classificazione del testo. Esistono anche reti di deep learning addestrate su set di dati di testo di grandi dimensioni, ad esempio TextNet, che contiene più di 11 milioni di testi con circa 11.000 categorie. Dopo aver addestrato una rete con TextNet i dati, è possibile ottimizzarla su un set di dati prestando particolare attenzione all'esecuzione di attività di classificazione del testo più specifiche. L' TensorFlow algoritmo Amazon SageMaker AI Text Classification supporta il transfer learning su molti modelli preaddestrati disponibili nell'Hub. TensorFlow

In base al numero di etichette di classe nei dati di allenamento, un livello di classificazione del testo è collegato al TensorFlow modello preaddestrato di tua scelta. Il livello di classificazione è costituito da uno livello dropout, un livello denso e un livello completamente connesso con regolarizzatore norma 2 inizializzato con pesi casuali. Puoi modificare i valori degli iperparametri per la percentuale di dropout del livello di dropout e il fattore di regolarizzazione L2 per il livello denso.

Puoi ottimizzare l'intera rete (incluso il modello preaddestrato) o solo il livello di classificazione superiore in base ai nuovi dati di addestramento. Con questo metodo di trasferimento dell'addestramento, puoi eseguire l’addestramento di set di dati più piccoli.