nach oben

Erschienen in:

2019 | OriginalPaper | Buchkapitel

Efficient Sequence Labeling with Actor-Critic Training

verfasst von : Saeed Najafi, Colin Cherry, Grzegorz Kondrak

Erschienen in: Advances in Artificial Intelligence

Verlag: Springer International Publishing

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config

KI-gestützte Suche

Aus

Abstract

Neural approaches to sequence labeling often use a Conditional Random Field (CRF) to model their output dependencies. We set out to establish Recurrent Neural Networks (RNNs) as an efficient alternative to CRFs especially in tasks with large number of output labels. We propose an adjusted actor-critic reinforcement learning algorithm to fine-tune RNN network (AC-RNN). Our comprehensive experiments suggest that AC-RNN efficiently matches the performance of the CRF on NER and CCG tagging, and outperforms it on Machine Transliteration; with an overall faster training time, and smaller memory footprint.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 340 Zeitschriften

aus folgenden Fachgebieten:

Bauwesen + Immobilien
Business IT + Informatik
Finance + Banking
Management + Führung
Marketing + Vertrieb
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Vorheriges Kapitel Unsupervised Sentiment Analysis of Objective Texts

Nächstes Kapitel Detecting Depression from Voice

The context vector summarizes the input X for the current time step via soft or hard attention mechanisms [10].

Bahdanau, D., et al.: An actor-critic algorithm for sequence prediction. In: ICLR (2017)

Bengio, S., Vinyals, O., Jaitly, N., Shazeer, N.: Scheduled sampling for sequence prediction with recurrent neural networks. In: NIPS, pp. 1171–1179 (2015)

Clark, S., Curran, J.R.: The importance of supertagging for wide-coverage ccg parsing, In: COLING (2004)

Goodfellow, I., Bengio, Y., Courville, A.: Deep Learning. MIT Press, Cambridge (2016)MATH

Hockenmaier, J., Steedman, M.: CCGbank: a corpus of CCG derivations and dependency structures extracted from the Penn treebank. Comput. Linguist. 33(3), 355–396 (2007)CrossRef

Huang, Z., Xu, W., Yu, K.: Bidirectional LSTM-CRF models for sequence tagging. CoRR abs/1508.01991 (2015)

Kingma, D.P., Ba, J.: Adam: a method for stochastic optimization. In: ICLR (2015)

Konda, V.R., Tsitsiklis, J.N.: On actor-critic algorithms. SIAM J. Control Optim. 42(4), 1143–1166 (2003)MathSciNetCrossRef

Lample, G., Ballesteros, M., Subramanian, S., Kawakami, K., Dyer, C.: Neural architectures for named entity recognition. In: NAACL-HLT, pp. 260–270 (2016)

10.

Luong, T., Pham, H., Manning, C.D.: Effective approaches to attention-based neural machine translation. In: EMNLP, pp. 1412–1421 (2015)

11.

Ma, X., Hovy, E.: End-to-end sequence labeling via bi-directional LSTM-CNNS-CRF. In: ACL, pp. 1064–1074 (2016)

12.

Mnih, V., et al.: Asynchronous methods for deep reinforcement learning. In: ICML, vol. 48, pp. 1928–1937 (2016)

13.

Moon, S., Neves, L., Carvalho, V.: Multimodal named entity recognition for short social media posts. In: Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, New Orleans, Louisiana, vol. 1 (Long Papers), pp. 852–860. Association for Computational Linguistics, June 2018. https://doi.org/10.18653/v1/N18-1078. https://www.aclweb.org/anthology/N18-1078

14.

Najafi, S.: Sequence labeling and transduction with output-adjusted actor-critic training of RNNs (2018). https://doi.org/10.7939/R39Z90T8B

15.

Najafi, S., Cherry, C., Kondrak, G.: Efficient sequence labeling with actor-critic training. CoRR (2018). http://arxiv.org/abs/1810.00428

16.

Ranzato, M., Chopra, S., Auli, M., Zaremba, W.: Sequence level training with recurrent neural networks. In: ICLR (2016)

17.

Sutton, R.S., Barto, A.G.: Introduction to Reinforcement Learning, 1st edn. MIT Press, Cambridge (1998)MATH

18.

Tjong Kim Sang, E.F., De Meulder, F.: Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In: CoNLL (2003)

19.

Williams, R.J.: Simple statistical gradient-following algorithms for connectionist reinforcement learning. Mach. Learn. 8(3–4), 229–256 (1992)MATH

Titel: Efficient Sequence Labeling with Actor-Critic Training
verfasst von: Saeed Najafi
Colin Cherry
Grzegorz Kondrak
Verlag: Springer International Publishing
Buch: Advances in Artificial Intelligence
Print ISBN: 978-3-030-18304-2

Electronic ISBN: 978-3-030-18305-9

Copyright-Jahr: 2019
DOI: https://doi.org/10.1007/978-3-030-18305-9_46

Springer Professional

Abstract

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Springer Professional "Technik"

Springer Professional "Wirtschaft"