Regularising LSTM classifier by transfer learning for detecting misogynistic tweets with small training set

Betreute Methoden des maschinellen Lernens hängen in hohem Maße von der Qualität des Trainingsdatensatzes und des zugrunde liegenden Modells ab. Insbesondere neuronale Netzwerkmodelle, die sich im Umgang mit Problemen der natürlichen Sprache als sehr erfolgreich erwiesen haben, erfordern einen großen Datensatz, um eine Vielzahl von Parametern zu erlernen. Allerdings ist es nicht immer einfach, einen großen (beschrifteten) Datensatz aufzubauen. Beispielsweise ist es aufgrund der Komplexität von Tweets und der damit verbundenen manuellen Arbeit schwierig, einen großen Twitter-Datensatz mit dem frauenfeindlichen Label zu erstellen. In diesem Aufsatz schlagen wir vor, einen Langzeitgedächtnis-Klassifizierer (LSTM) zu regulieren, indem wir ein vorausgebildetes LSTM-basiertes Sprachmodell (LM) verwenden, um ein präzises Klassifizierungsmodell mit einem kleinen Trainingssatz zu erstellen. Wir erklären Transferlernen (TL) mit einer bayesischen Interpretation und zeigen, dass TL als Unsicherheitsregulierungstechnik in bayesischer Inferenz betrachtet werden kann. Wir zeigen, dass ein LM vortrainiert auf einer Sequenz allgemeiner aufgabenspezifischen Domäne basierende Datensätze verwendet werden kann, um diese kleine STM-Klassifizierung effektiv zu regulieren.