Skip to main content
Erschienen in: Neural Computing and Applications 3-4/2014

01.09.2014 | Original Article

Averaged learning equations of error-function-based multilayer perceptrons

verfasst von: Weili Guo, Haikun Wei, Junsheng Zhao, Kanjian Zhang

Erschienen in: Neural Computing and Applications | Ausgabe 3-4/2014

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

The multilayer perceptrons (MLPs) have strange behaviors in the learning process caused by the existing singularities in the parameter space. A detailed theoretical or numerical analysis of the MLPs is difficult due to the non-integrability of the traditional log-sigmoid activation function which leads to difficulties in obtaining the averaged learning equations (ALEs). In this paper, the error function is suggested as the activation function of the MLPs. By solving the explicit expressions of two important expectations, we obtain the averaged learning equations which make it possible for further analysis of the learning dynamics in MLPs. The simulation results also indicate that the ALEs play a significant role in investigating the singular behaviors of MLPs.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Anhänge
Nur mit Berechtigung zugänglich
Literatur
1.
Zurück zum Zitat Fukumizu K, Amari S (2000) Local minima and plateaus in hierarchical structure of multilayer perceptrons. Neural Netw 13(3):317–327CrossRef Fukumizu K, Amari S (2000) Local minima and plateaus in hierarchical structure of multilayer perceptrons. Neural Netw 13(3):317–327CrossRef
2.
Zurück zum Zitat Amari S, Nagaoka H (2000) Information geometry. AMS and Oxford University Press, New YorkMATH Amari S, Nagaoka H (2000) Information geometry. AMS and Oxford University Press, New YorkMATH
3.
Zurück zum Zitat Amari S, Ozeki T (2001) Differential and algebraic geometry of multilayer perceptrons. IEICE Trans Fundam Electron Commun Comput Sci E84-A:31–38 Amari S, Ozeki T (2001) Differential and algebraic geometry of multilayer perceptrons. IEICE Trans Fundam Electron Commun Comput Sci E84-A:31–38
4.
5.
Zurück zum Zitat Nakajima S, Watanabe S (2007) Variational Bayes solution of linear neural networks and its generalization performance. Neural Comput 19(4):1112–1153CrossRefMATHMathSciNet Nakajima S, Watanabe S (2007) Variational Bayes solution of linear neural networks and its generalization performance. Neural Comput 19(4):1112–1153CrossRefMATHMathSciNet
6.
Zurück zum Zitat Watanabe S (2013) A widely applicable Bayesian information criterion. J Mach Learn Res 14:867–897MATH Watanabe S (2013) A widely applicable Bayesian information criterion. J Mach Learn Res 14:867–897MATH
7.
Zurück zum Zitat Amari S, Ozeki T, Cousseau F, Wei H (2011) Dynamics of learning in hierarchical models—singularity and milnor attractor. In: Wang R, Gu F (eds) Advances in cognitive neurodynamics (II). Proceedings of the second international conference on cognitive neurodynamics-2009. Springer, Netherlands Amari S, Ozeki T, Cousseau F, Wei H (2011) Dynamics of learning in hierarchical models—singularity and milnor attractor. In: Wang R, Gu F (eds) Advances in cognitive neurodynamics (II). Proceedings of the second international conference on cognitive neurodynamics-2009. Springer, Netherlands
8.
Zurück zum Zitat Wei H, Zhang J, Cousseau F, Ozeki T, Amari S (2008) Dynamics of learning near singularities in layered networks. Neural Comput 20(3):813–843CrossRefMATHMathSciNet Wei H, Zhang J, Cousseau F, Ozeki T, Amari S (2008) Dynamics of learning near singularities in layered networks. Neural Comput 20(3):813–843CrossRefMATHMathSciNet
9.
Zurück zum Zitat Wei H, Amari S (2008) Dynamics of learning near singularities in radial basis function networks. Neural Netw 21(7):989–1005CrossRefMATH Wei H, Amari S (2008) Dynamics of learning near singularities in radial basis function networks. Neural Netw 21(7):989–1005CrossRefMATH
10.
Zurück zum Zitat Rattray M, Saad D, Amari S (1998) Natural gradient descent for on-line learning. Phys Rev Lett 81(24):5461–5464CrossRef Rattray M, Saad D, Amari S (1998) Natural gradient descent for on-line learning. Phys Rev Lett 81(24):5461–5464CrossRef
13.
Zurück zum Zitat Saad D, Solla A (1995) Exact solution for online learning in multilayer neural networks. Phys Rev Lett 74(21):4337–4340CrossRef Saad D, Solla A (1995) Exact solution for online learning in multilayer neural networks. Phys Rev Lett 74(21):4337–4340CrossRef
15.
Zurück zum Zitat Park H, Inoue M, Okada M (2003) Online learning dynamics of multilayer perceptrons with unidentifiable parameters. J Phys A Math Gen 36(47):11753–11764CrossRefMATHMathSciNet Park H, Inoue M, Okada M (2003) Online learning dynamics of multilayer perceptrons with unidentifiable parameters. J Phys A Math Gen 36(47):11753–11764CrossRefMATHMathSciNet
16.
Zurück zum Zitat Cousseau F, Ozeki T, Amari S (2008) Dynamics of learning in multilayer perceptrons near singularities. IEEE Trans Neural Netw 19(8):1313–1328 Cousseau F, Ozeki T, Amari S (2008) Dynamics of learning in multilayer perceptrons near singularities. IEEE Trans Neural Netw 19(8):1313–1328
17.
Zurück zum Zitat Satoh S, Nakano R (2013) Fast and stable learning utilizing singular regions of multilayer perceptron. Neural Process Lett 38(2):99–115CrossRef Satoh S, Nakano R (2013) Fast and stable learning utilizing singular regions of multilayer perceptron. Neural Process Lett 38(2):99–115CrossRef
Metadaten
Titel
Averaged learning equations of error-function-based multilayer perceptrons
verfasst von
Weili Guo
Haikun Wei
Junsheng Zhao
Kanjian Zhang
Publikationsdatum
01.09.2014
Verlag
Springer London
Erschienen in
Neural Computing and Applications / Ausgabe 3-4/2014
Print ISSN: 0941-0643
Elektronische ISSN: 1433-3058
DOI
https://doi.org/10.1007/s00521-014-1557-5

Weitere Artikel der Ausgabe 3-4/2014

Neural Computing and Applications 3-4/2014 Zur Ausgabe