Skip to main content
Fachgebiete
Automobil + Motoren Bauwesen + Immobilien Business IT + Informatik Elektrotechnik + Elektronik Energie + Nachhaltigkeit Finance + Banking Management + Führung Marketing + Vertrieb Maschinenbau + Werkstoffe Versicherung + Risiko
DE
EN
Bücher
Zeitschriften
Themenseiten
Organisationspsychologie Projektmanagement Marketing Smart Manufacturing
Weitere Formate
Podcasts Webinare Technik Webinare Wirtschaft Kongresse Veranstaltungskalender Awards
Jetzt Einzelzugang starten
Zugang für Unternehmen
Referenzkunden
SLX-Digitalkonferenz: Zukunftswerkstatt 2024

Mehr Umsatz mit Top-Kontakten

Am 7. Mai erfahren Sie, wie Vertriebsteams Leadgenerierung, Leadnurturing und Leadstrategien effizient steuern können.
Erweiterte Suche
Anmelden
nach oben
Erschienen in:
Three-Dimensional Model of Signal Processing in the Presynaptic Bouton of the Neuron Kapitel lesen Erstes Kapitel lesen

2018 | OriginalPaper | Buchkapitel

Neural Networks Saturation Reduction

verfasst von : Janusz Kolbusz, Pawel Rozycki, Oleksandr Lysenko, Bogdan M. Wilamowski

Erschienen in: Artificial Intelligence and Soft Computing

Verlag: Springer International Publishing

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

The saturation of particular neuron and a whole neural network is one of the reasons for problems with training effectiveness. The paper shows neural network saturation analysis, proposes a method for detection of saturated neurons and its reduction to achieve better training performance. The proposed approach has been confirmed by several experiments.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Jetzt informieren
Vorheriges Kapitel American Sign Language Fingerspelling Recognition Using Wide Residual Networks
Nächstes Kapitel Learning and Convergence of the Normalized Radial Basis Functions Networks
Literatur
1.
Rozycki, P., Kolbusz, J., Wilamowski, B.M.: Dedicated deep neural network architectures and methods for their training. In: IEEE 19th International Conference on Intelligent Engineering Systems (INES 2015) Bratislava, 3–5 September 2015, pp. 73–78 (2015)
2.
3.
Mohamed, A., Dahl, G.E., Hinton, G.E.: Acoustic modeling using deep belief networks. IEEE Trans. Audio Speech Lang. Process. 20, 14–22 (2012)CrossRef
4.
Krizhevsky, A., Sutskever, I., Hinton, G.E.: Imagenet classification with deep convolutional neural networks. In: Advances in Neural Information Processing Systems, pp. 1097–1105 (2012)
5.
Simonyan K., Zisserman A.: Very deep convolutional networks for largescale image recognition. arXiv preprint arXiv:​1409.​1556 (2014)
6.
Mnih, V., et al.: Human-level control through deep reinforcement learning. Nature 518(7540), 529–533 (2015)CrossRef
7.
Silver, D., et al.: Mastering the game of go with deep neural networks and tree search. Nature 529(7587), 484–489 (2016)CrossRef
8.
Wilamowski, B.M., Yu, H.: Neural network learning without backpropagation. IEEE Trans. Neural Netw. 21(11), 1793–1803 (2010)CrossRef
9.
Hunter, D., Hao, Y., Pukish, M.S., Kolbusz, J., Wilamowski, B.M.: Selection of proper neural network sizes and architectures—A comparative study. IEEE Trans. Industr. Inf. 8, 228–240 (2012)CrossRef
10.
Hochreiter, S.: The vanishing gradient problem during learning recurrent neural nets and problem solutions. Int. J. Uncertain. Fuzz. Knowl. Based Syst. 06, 107 (1998)MATHCrossRef
11.
Larochelle, H., et al.: Exploring strategies for training deep neural networks. J. Mach. Learn. Res. 10(Jan), 1–40 (2009)MATH
12.
He, K., Zhang, X., Ren, S., Sun, J.: Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In: ICCV (2015)
13.
Bengio, Y., Simard, P., Frasconi, P.: Learning long-term dependencies with gradient descent is dificult. IEEE Trans. Neural Netw. 5(2), 157–166 (1994)CrossRef
14.
Glorot, X., Bengio, Y.: Understanding the difficulty of training deep feedforward neural networks. In: International Conference on Articial Intelligence and Statistics, pp. 249–256 (2010)
15.
16.
Ioffe, S., Szegedy, C.: Batch normalization: Accelerating deep network training by reducing internal covariate shift. In: ICML (2015)
17.
18.
Kolbusz J., Różycki P., Wilamowski B.M.: The study of architecture MLP with linear neurons in order to eliminate the “vanishing gradient” problem. In: Artificial Intelligence and Soft Computing, ICAISC 2017, pp. 97–106 (2017)
19.
Rakitianskaia, A., Engelbrecht, A.: Measuring saturation in neural networks. In: 2015 IEEE Symposium Series on Computational Intelligence, Cape Town, pp. 1423–1430 (2015)
20.
21.
Rakitianskaia, A., Engelbrecht, A.: Training high-dimensional neural networks with cooperative particle swarm optimiser. In: 2014 International Joint Conference on Neural Networks (IJCNN), Beijing, pp. 4011–4018 (2014)
22.
Wilamowski, B.M., Yu, H.: Improved computation for levenberg Marquardt training. IEEE Trans. Neural Netw. 21(6), 930–937 (2010)CrossRef
Metadaten
Titel
Neural Networks Saturation Reduction
verfasst von
Janusz Kolbusz
Pawel Rozycki
Oleksandr Lysenko
Bogdan M. Wilamowski
Copyright-Jahr
2018
Buch
Artificial Intelligence and Soft Computing

Print ISBN: 978-3-319-91252-3

Electronic ISBN: 978-3-319-91253-0

Copyright-Jahr: 2018

DOI
https://doi.org/10.1007/978-3-319-91253-0_11