Skip to main content

2020 | OriginalPaper | Buchkapitel

Dataset for Evaluation of Mathematical Reasoning Abilities in Russian

verfasst von : Mikhail Nefedov

Erschienen in: Artificial Intelligence and Natural Language

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

We present a Russian version of DeepMind Mathematics Dataset. The original dataset is synthetically generated using inference rules and a set of linguistic templates. We translate the linguistic templates to Russian leaving the inference part without changes. So as a result we get a mathematically parallel dataset where the same mathematical problems are explored but in another language. We reproduce the experiment from the original paper to check whether the performance of a Transformer model is impacted by the differences of the languages in which math problems are expressed. Though our contribution is small compared to the original work, we think it is valuable given the fact that languages other than English (and Russian in particular) are underrepresented.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Bender, E.M.: On achieving and evaluating language-independence in NLP. Linguist. Issues Lang. Technol. 6, 1–26 (2011) Bender, E.M.: On achieving and evaluating language-independence in NLP. Linguist. Issues Lang. Technol. 6, 1–26 (2011)
2.
Zurück zum Zitat Dua, D., Wang, Y., Dasigi, P., Stanovsky, G., Singh, S., Gardner, M.: Drop: a reading comprehension benchmark requiring discrete reasoning over paragraphs. In: NAACL-HLT (2019) Dua, D., Wang, Y., Dasigi, P., Stanovsky, G., Singh, S., Gardner, M.: Drop: a reading comprehension benchmark requiring discrete reasoning over paragraphs. In: NAACL-HLT (2019)
3.
Zurück zum Zitat Geva, M., Gupta, A., Berant, J.: Injecting numerical reasoning skills into language models. In: ACL (2020) Geva, M., Gupta, A., Berant, J.: Injecting numerical reasoning skills into language models. In: ACL (2020)
4.
Zurück zum Zitat Hopkins, M., Bras, R.L., Petrescu-Prahova, C., Stanovsky, G., Hajishirzi, H., Koncel-Kedziorski, R.: Semeval-2019 task 10: math question answering. In: SemEval@NAACL-HLT (2019) Hopkins, M., Bras, R.L., Petrescu-Prahova, C., Stanovsky, G., Hajishirzi, H., Koncel-Kedziorski, R.: Semeval-2019 task 10: math question answering. In: SemEval@NAACL-HLT (2019)
5.
Zurück zum Zitat Koncel-Kedziorski, R., Hajishirzi, H., Sabharwal, A., Etzioni, O., Ang, S.D.: Parsing algebraic word problems into equations. Trans. Assoc. Comput. Linguist. 3, 585–597 (2015)CrossRef Koncel-Kedziorski, R., Hajishirzi, H., Sabharwal, A., Etzioni, O., Ang, S.D.: Parsing algebraic word problems into equations. Trans. Assoc. Comput. Linguist. 3, 585–597 (2015)CrossRef
6.
Zurück zum Zitat Koncel-Kedziorski, R., Roy, S., Amini, A., Kushman, N., Hajishirzi, H.: Mawps: a math word problem repository. In: HLT-NAACL (2016) Koncel-Kedziorski, R., Roy, S., Amini, A., Kushman, N., Hajishirzi, H.: Mawps: a math word problem repository. In: HLT-NAACL (2016)
9.
Zurück zum Zitat Rajpurkar, P., Zhang, J., Lopyrev, K., Liang, P.: SQuAD: 100,000+ questions for machine comprehension of text. In: EMNLP (2016) Rajpurkar, P., Zhang, J., Lopyrev, K., Liang, P.: SQuAD: 100,000+ questions for machine comprehension of text. In: EMNLP (2016)
10.
Zurück zum Zitat Ravichander, A., Naik, A., Rosé, C.P., Hovy, E.H.: EQUATE: a benchmark evaluation framework for quantitative reasoning in natural language inference. In: CoNLL (2019) Ravichander, A., Naik, A., Rosé, C.P., Hovy, E.H.: EQUATE: a benchmark evaluation framework for quantitative reasoning in natural language inference. In: CoNLL (2019)
11.
Zurück zum Zitat Roy, S., Roth, D.: Solving general arithmetic word problems. In: EMNLP (2015) Roy, S., Roth, D.: Solving general arithmetic word problems. In: EMNLP (2015)
12.
Zurück zum Zitat Roy, S., Vieira, T., Roth, D.: Reasoning about quantities in natural language. Trans. Assoc. Comput. Linguist. 3, 1–13 (2015)CrossRef Roy, S., Vieira, T., Roth, D.: Reasoning about quantities in natural language. Trans. Assoc. Comput. Linguist. 3, 1–13 (2015)CrossRef
14.
Zurück zum Zitat Siyam, B., Saa, A.A., Alqaryouti, O., Shaalan, K.: Arabic arithmetic word problems solver. In: ACLING (2017) Siyam, B., Saa, A.A., Alqaryouti, O., Shaalan, K.: Arabic arithmetic word problems solver. In: ACLING (2017)
15.
Zurück zum Zitat Trask, A., Hill, F., Reed, S.E., Rae, J.W., Dyer, C., Blunsom, P.: Neural arithmetic logic units. In: NeurIPS (2018) Trask, A., Hill, F., Reed, S.E., Rae, J.W., Dyer, C., Blunsom, P.: Neural arithmetic logic units. In: NeurIPS (2018)
16.
Zurück zum Zitat Vaswani, A., et al.: Attention is all you need. In: NIPS (2017) Vaswani, A., et al.: Attention is all you need. In: NIPS (2017)
17.
Zurück zum Zitat Wallace, E., Wang, Y., Li, S., Singh, S., Gardner, M.: Do NLP models know numbers? Probing numeracy in embeddings. In: EMNLP/IJCNLP (2019) Wallace, E., Wang, Y., Li, S., Singh, S., Gardner, M.: Do NLP models know numbers? Probing numeracy in embeddings. In: EMNLP/IJCNLP (2019)
Metadaten
Titel
Dataset for Evaluation of Mathematical Reasoning Abilities in Russian
verfasst von
Mikhail Nefedov
Copyright-Jahr
2020
DOI
https://doi.org/10.1007/978-3-030-59082-6_10

Premium Partner