Skip to main content
Fachgebiete
Automobil + Motoren Bauwesen + Immobilien Business IT + Informatik Elektrotechnik + Elektronik Energie + Nachhaltigkeit Finance + Banking Management + Führung Marketing + Vertrieb Maschinenbau + Werkstoffe Versicherung + Risiko
DE
EN
Themenseiten
Organisationspsychologie Projektmanagement Marketing Smart Manufacturing
Bücher
Zeitschriften
Weitere Formate
Webinare Technik Webinare Wirtschaft Kongresse Veranstaltungskalender Awards
Jetzt Einzelzugang starten
Zugang für Unternehmen
Referenzkunden
ATZ-Fachkongress

Chassis.tech plus 2024


4 Kongresse in einer Veranstaltung

Treffen Sie in München die Fachleute von Chassis, Lenkung, Bremsen sowie Reifen/Räder.
Erweiterte Suche
Anmelden
nach oben
Erschienen in:
Faster and Better Grammar-Based Text-to-SQL Parsing via Clause-Level Parallel Decoding and Alignment Loss Kapitel lesen Erstes Kapitel lesen

2022 | OriginalPaper | Buchkapitel

An Interactive Fusion Model for Hierarchical Multi-label Text Classification

verfasst von : Xiuhao Zhao, Zhao Li, Xianming Zhang, Jibin Wang, Tong Chen, Zhengyu Ju, Canjun Wang, Chao Zhang, Yiming Zhan

Erschienen in: Natural Language Processing and Chinese Computing

Verlag: Springer Nature Switzerland

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Scientific research literature usually has multi-level labels, and there are often dependencies between multi-level labels. It is crucial for the model to learn and integrate the information between multi-level labels for the hierarchical multi-label text classification (HMTC) of scientific research literature texts. Therefore, for the HMTC task in the scientific research literature, we use the pre-trained language model SciBERT trained on scientific texts. And we introduce a shared TextCNN layer in our multi-task learning architecture to learn the dependency information between labels at each level. Then the hierarchical feature information is fused and propagated from top to bottom according to the task level. We conduct ablation experiments on the dependency information interaction module and the hierarchical information fusion propagation module. Experimental results on the NLPCC2022 SharedTask5 Track1 dataset demonstrate the effectiveness of our model, and we rank 4th place in the task.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Jetzt informieren
Vorheriges Kapitel Multi-task Hierarchical Cross-Attention Network for Multi-label Text Classification
Nächstes Kapitel Scene-Aware Prompt for Multi-modal Dialogue Understanding and Generation
Fußnoten
2
\(B C E {\text {Loss}}(x, y)=-(y \log x+(1-y) \log (1-x))\).
 
Literatur
1.
Beltagy, I., Lo, K., Cohan, A.: SciBERT: a pretrained language model for scientific text. In: Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615–3620 (2019)
2.
3.
Chen, Y.: Convolutional neural network for sentence classification. Master’s thesis, University of Waterloo (2015)
4.
Devlin, J., Chang, M.W., Lee, K., Toutanova, K.: BERT: pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:​1810.​04805 (2018)
5.
Fox, E.A., Akscyn, R.M., Furuta, R.K., Leggett, J.J.: Digital libraries. Commun. ACM 38(4), 22–28 (1995)CrossRef
6.
Garfield, E.: The evolution of the science citation index. Int. Microbiol. 10(1), 65 (2007)MathSciNet
7.
Lai, S., Xu, L., Liu, K., Zhao, J.: Recurrent convolutional neural networks for text classification. In: Twenty-Ninth AAAI Conference on Artificial Intelligence (2015)
8.
Lewandowski, D.: Web searching, search engines and information retrieval. Inf. Serv. Use 25(3–4), 137–147 (2005)
9.
10.
Liu, J., Chang, W.C., Wu, Y., Yang, Y.: Deep learning for extreme multi-label text classification. In: Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 115–124 (2017)
11.
12.
Peng, H., et al.: Large-scale hierarchical text classification with recursively regularized deep graph-CNN. In: Proceedings of the 2018 World Wide Web Conference, pp. 1063–1072 (2018)
13.
14.
Silla, C.N., Freitas, A.A.: A survey of hierarchical classification across different application domains. Data Min. Knowl. Disc. 22(1), 31–72 (2011)MathSciNetCrossRef
15.
16.
Xu, L., et al.: Hierarchical multi-label text classification with horizontal and vertical category correlations. In: Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2459–2468 (2021)
17.
Yao, L., Mao, C., Luo, Y.: Graph convolutional networks for text classification. In: Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, pp. 7370–7377 (2019)
Metadaten
Titel
An Interactive Fusion Model for Hierarchical Multi-label Text Classification
verfasst von
Xiuhao Zhao
Zhao Li
Xianming Zhang
Jibin Wang
Tong Chen
Zhengyu Ju
Canjun Wang
Chao Zhang
Yiming Zhan
Copyright-Jahr
2022
Buch
Natural Language Processing and Chinese Computing

Print ISBN: 978-3-031-17188-8

Electronic ISBN: 978-3-031-17189-5

Copyright-Jahr: 2022

DOI
https://doi.org/10.1007/978-3-031-17189-5_14

Premium Partner

    Bildnachweise