Skip to main content
Top

2020 | OriginalPaper | Chapter

4. Tiefes Lernen kann komplexe Zusammenhänge erfassen

Authors : Gerhard Paaß, Dirk Hecker

Published in: Künstliche Intelligenz

Publisher: Springer Fachmedien Wiesbaden

Activate our intelligent search to find suitable subject content or patents.

search-config
loading …

Zusammenfassung

Bei komplexeren Problemem sind einfache lineare Modelle unzureichend. Ein Ausweg bieten Modelle mit mehreren nichtlinearen Schichten (Operatoren), welche beliebige Zusammenhänge zwischen Ein- und Ausgaben repräsentieren können. Dieses Kapitel beschreibt die Eigenschaften derartiger tiefer neuronaler Netze und zeigt auf, wie sich mit Hilfe des Backproagation-Verfahrens die optimalen Parameter finden lassen. Anschließend wird das Problem der Überanpassung dargestellt und wie es sich mit Regularisierungsverfahren lösen lässt. Zum Schluß wird ein Überblick über die unterschiedlichen Typen tiefer neuronaler Netze gegeben und Methoden zur Suche einer Netzwerk-Struktur diskutiert. 

Dont have a licence yet? Then find out more about our products and how to get one now:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literature
go back to reference Abadi, M., et al. 2016. TensorFlow: A system for large-scale machine learning. In 12th {USENIX} Symposium on Operating Systems Design and Implementation ({OSDI} 16) (pp. 265–283). 2016. Abadi, M., et al. 2016. TensorFlow: A system for large-scale machine learning. In 12th {USENIX} Symposium on Operating Systems Design and Implementation ({OSDI} 16) (pp. 265–283). 2016.
go back to reference Bassily, R., Belkin, M. und Ma, S. 2018. On exponential convergence of sgd in non-convex over-parametrized learning. [Online] 2018. [Zitat vom: 10. 02. 2020.] arXiv preprint arXiv:1811.02564. Bassily, R., Belkin, M. und Ma, S. 2018. On exponential convergence of sgd in non-convex over-parametrized learning. [Online] 2018. [Zitat vom: 10. 02. 2020.] arXiv preprint arXiv:1811.02564.
go back to reference Bruna, J. und Mallat, S. 2013. Invariant scattering convolution networks. IEEE Trans. Pattern Analysis and Machine Intelligence (PAMI), vol. 35, no. 8, pp. 1872–1886, Aug 2013. 2013. Bruna, J. und Mallat, S. 2013. Invariant scattering convolution networks. IEEE Trans. Pattern Analysis and Machine Intelligence (PAMI), vol. 35, no. 8, pp. 1872–1886, Aug 2013. 2013.
go back to reference Brutzkus, A. und Globerson, A. 2019. Why do Larger Models Generalize Better? A theoretical Perspective via the XOR Problem. [Online] 2019. [Zitat vom: 25. 09. 2019.] arXiv preprint arXiv:1810.03037v2. Brutzkus, A. und Globerson, A. 2019. Why do Larger Models Generalize Better? A theoretical Perspective via the XOR Problem. [Online] 2019. [Zitat vom: 25. 09. 2019.] arXiv preprint arXiv:1810.03037v2.
go back to reference Eldanand, R. und Shamir, O. 2016. The power of depth for feedforward neural networks. COLT. 2016. Eldanand, R. und Shamir, O. 2016. The power of depth for feedforward neural networks. COLT. 2016.
go back to reference Goodfellow, Ian, Bengio, Yoshua und Courville, Aaron. 2016. Deep Learning. s.l. : MIT Press, 2016. Goodfellow, Ian, Bengio, Yoshua und Courville, Aaron. 2016. Deep Learning. s.l. : MIT Press, 2016.
go back to reference Hardt, M., Recht, B. und Singer, Y. 2016. Train faster, generalize better: Stability of stochastic gradient descent. ICML. 2016. Hardt, M., Recht, B. und Singer, Y. 2016. Train faster, generalize better: Stability of stochastic gradient descent. ICML. 2016.
go back to reference Hornik, K., Stinchcombe, M. und White, H. 1989. Multilayer feedforward networks are universal approximators. Neural networks, 2(5), 359–366. 1989. Hornik, K., Stinchcombe, M. und White, H. 1989. Multilayer feedforward networks are universal approximators. Neural networks, 2(5), 359–366. 1989.
go back to reference Jin, H., Song, Q., & Hu, X. 2019. Auto-keras: An efficient neural architecture search system. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (pp. 1946–1956). ACM. 2019. Jin, H., Song, Q., & Hu, X. 2019. Auto-keras: An efficient neural architecture search system. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (pp. 1946–1956). ACM. 2019.
go back to reference Mesnard, T., et al. 2019. Ghost Units Yield Biologically Plausible Backprop in Deep Neural Networks. [Online] 2019. [Zitat vom: 03. 01. 2020.] arXiv preprint arXiv:1911.08585. Mesnard, T., et al. 2019. Ghost Units Yield Biologically Plausible Backprop in Deep Neural Networks. [Online] 2019. [Zitat vom: 03. 01. 2020.] arXiv preprint arXiv:1911.08585.
go back to reference Minsky, M. und Papert, S. 1969. Perceptron: an introduction to computational geometry. s.l. : The MIT Press, Cambridge, expanded edition, 19(88), 2., 1969. Minsky, M. und Papert, S. 1969. Perceptron: an introduction to computational geometry. s.l. : The MIT Press, Cambridge, expanded edition, 19(88), 2., 1969.
go back to reference Neyshabur, B., Salakhutdinov, R. und Srebro, N. 2015. Path-SGD: Path-normalized optimization in deep neural networks. NIPS. 2015. Neyshabur, B., Salakhutdinov, R. und Srebro, N. 2015. Path-SGD: Path-normalized optimization in deep neural networks. NIPS. 2015.
go back to reference Noy, A., Nayman, N., Ridnik, T., Zamir, N., Doveh, S., Friedman, I., ... & Zelnik, L. 2020. Asap: Architecture search, anneal and prune. In International Conference on Artificial Intelligence and Statistics (pp. 493–503). PMLR. Noy, A., Nayman, N., Ridnik, T., Zamir, N., Doveh, S., Friedman, I., ... & Zelnik, L. 2020. Asap: Architecture search, anneal and prune. In International Conference on Artificial Intelligence and Statistics (pp. 493–503). PMLR.
go back to reference Rosenblatt, F. 1958. The perceptron: a probabilistic model for information storage and organization in the brain. Psychological review, 65(6), 386. 1958. Rosenblatt, F. 1958. The perceptron: a probabilistic model for information storage and organization in the brain. Psychological review, 65(6), 386. 1958.
go back to reference Rumelhart, D. Hinton, G. und Williams, R. 1985. Learning internal representations by error propagation. (No. ICS-8506). California University San Diego LA Jolla Inst. for Cognitive Science. : s.n., 1985. Rumelhart, D. Hinton, G. und Williams, R. 1985. Learning internal representations by error propagation. (No. ICS-8506). California University San Diego LA Jolla Inst. for Cognitive Science. : s.n., 1985.
go back to reference Shalev-Shwartz, S. und Ben-David, S. 2014. Understanding machine learning: from theory to algorithms. s.l. : Cambridge University Press, 2014. Shalev-Shwartz, S. und Ben-David, S. 2014. Understanding machine learning: from theory to algorithms. s.l. : Cambridge University Press, 2014.
go back to reference Shearer C. 2000. The CRISP-DM model: the new blueprint for data mining, . J Data Warehousing (2000); 5:13–22. 2000. Shearer C. 2000. The CRISP-DM model: the new blueprint for data mining, . J Data Warehousing (2000); 5:13–22. 2000.
go back to reference Tschannen, M., Bachem, O. und Lucic, M. 2018. Recent advances in autoencoder-based representation learning. [Online] 2018. [Zitat vom: 13. 08. 2019.] arXiv preprint arXiv:1812.05069. Tschannen, M., Bachem, O. und Lucic, M. 2018. Recent advances in autoencoder-based representation learning. [Online] 2018. [Zitat vom: 13. 08. 2019.] arXiv preprint arXiv:1812.05069.
go back to reference Werbos, P. 1974. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. s.l. : PhD thesis, Harvard University, Cambridge, MA, 1974. Werbos, P. 1974. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. s.l. : PhD thesis, Harvard University, Cambridge, MA, 1974.
Metadata
Title
Tiefes Lernen kann komplexe Zusammenhänge erfassen
Authors
Gerhard Paaß
Dirk Hecker
Copyright Year
2020
DOI
https://doi.org/10.1007/978-3-658-30211-5_4

Premium Partner