Skip to main content

2021 | OriginalPaper | Buchkapitel

A Comparative Study of Text Classification and Missing Word Prediction Using BERT and ULMFiT

verfasst von : Praveenkumar Katwe, Aditya Khamparia, Kali Prasad Vittala, Ojas Srivastava

Erschienen in: Evolutionary Computing and Mobile Sustainable Networks

Verlag: Springer Singapore

Aktivieren Sie unsere intelligente Suche um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

We perform a comparative study on the two types of emerging NLP models, ULMFiT and BERT. To gain insights on the suitability of these models to industry-relevant tasks, we use Text classification and Missing word prediction and emphasize how these two tasks can cover most of the prime industry use cases. We systematically frame the performance of the above two models by using selective metrics and train them with various configurations and inputs. This paper is intended to assist the industry researchers on the pros and cons of fine-tuning the industry data with these two pre-trained language models for obtaining the best possible state-of-the-art results.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
3.
Zurück zum Zitat Devlin J et al (2018) Bert: pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805 Devlin J et al (2018) Bert: pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:​1810.​04805
4.
Zurück zum Zitat Greene D, Cunningham P (2006) Practical solutions to the problem of diagonal dominance in kernel document clustering. In: Proceedings of the 23rd international conference on machine learning. ACM Greene D, Cunningham P (2006) Practical solutions to the problem of diagonal dominance in kernel document clustering. In: Proceedings of the 23rd international conference on machine learning. ACM
5.
Zurück zum Zitat Webster JJ, Kit C (1992) Tokenization as the initial phase in NLP. In: COLING 1992 Volume 4: The 15th international conference on computational linguistics Webster JJ, Kit C (1992) Tokenization as the initial phase in NLP. In: COLING 1992 Volume 4: The 15th international conference on computational linguistics
6.
Zurück zum Zitat Wang A et al (2019) Superglue: a stickier benchmark for general-purpose language understanding systems. arXiv preprint arXiv:1905.00537 Wang A et al (2019) Superglue: a stickier benchmark for general-purpose language understanding systems. arXiv preprint arXiv:​1905.​00537
7.
Zurück zum Zitat Narkhede S (2018) Understanding AUC-ROC curve. Towards Data Sci 26 Narkhede S (2018) Understanding AUC-ROC curve. Towards Data Sci 26
12.
Metadaten
Titel
A Comparative Study of Text Classification and Missing Word Prediction Using BERT and ULMFiT
verfasst von
Praveenkumar Katwe
Aditya Khamparia
Kali Prasad Vittala
Ojas Srivastava
Copyright-Jahr
2021
Verlag
Springer Singapore
DOI
https://doi.org/10.1007/978-981-15-5258-8_46

Neuer Inhalt