Skip to main content
main-content

Tipp

Weitere Kapitel dieses Buchs durch Wischen aufrufen

2021 | OriginalPaper | Buchkapitel

9. Neuronale Netze

verfasst von: Wolfgang Ertel

Erschienen in: Grundkurs Künstliche Intelligenz

Verlag: Springer Fachmedien Wiesbaden

share
TEILEN

Zusammenfassung

Nach etwa 30 Jahren Forschung an neuronalen Netzen ist mit Deep Learning der Durchbruch gelungen. Mit dem Ziel, die wichtigsten Ideen hinter Deep Learning zu verstehen, starten wir bei biologischen neuronalen Netzen und dem Hopfield Modell. Dann führen wir den bis heute fundamentalen Backpropagation Algorithmus ein um schließlich Deep Learning und dessen Anwendungen darzustellen.
Fußnoten
1
Die Bionik beschäftigt sich mit der Entschlüsselung von „Erfindungen der belebten Natur“ und ihrer innovativen Umsetzung in der Technik (s. Wikipedia).
 
2
Auch der Autor wurde von dieser Welle erfasst, die ihn 1987 von der Physik in die KI führte.
 
3
Für eine deutliche Unterscheidung zwischen Trainingsdaten und anderen Werten eines Neurons werden wir im Folgenden die Anfragevektoren immer mit \({\boldsymbol{q}}\) (von engl. query) und die gewünschten Antwortvektoren mit \({\boldsymbol{t}}\) (von engl. target) bezeichnen.
 
4
Historisch wurde Backpropagation mit der Sigmoidfunktion implementiert. Mittlerweile haben sich jedoch andere Funktionen als besser bewährt (siehe Abschn. 9.5.3).
 
5
Der Begriff „tief“ ist hier zu verstehen im Sinne von tiefem Eindringen in das Netzwerk.
 
6
Anschauliche Darstellungen solcher Merkmale inklusive Erklärung finden sich auf http://​mlss.​tuebingen.​mpg.​de/​2015/​slides/​fergus/​Fergus_​1.​pdf.
 
7
Im Fall eines Grauwertbilds.
 
9
Will man Kanten von Weiss nach Schwarz in gleicher Weise erkennen, dann muss man nach Anwendung von K den Absolutbetrag des Ergebnisses nehmen.
 
10
Dokumentation mit vielen Beispielen auf https://​keras.​io
 
11
Ein Beispiel mit Bilddaten in JPG-Dateien findet sich in Aufgabe 9.14.
 
12
Im Backpropagation-Algorithmus aus Abschn. 9.5 sind dies die Werte \(\delta ^{(p)}_j\).
 
15
Die Support-Vektor-Maschinen sind keine neuronalen Netze. Aufgrund der historischen Entwicklung und ihrer mathematischen Verwandtschaft zu linearen Netzen ist es didaktisch sinnvoller, sie hier zu behandeln.
 
Literatur
[AR88]
Zurück zum Zitat Anderson, J.; Rosenfeld, E.: Neurocomputing: Foundations of Research. Cambridge, MA : MIT Press, 1988. – Sammlung von Originalarbeiten Anderson, J.; Rosenfeld, E.: Neurocomputing: Foundations of Research. Cambridge, MA : MIT Press, 1988. – Sammlung von Originalarbeiten
[Hop82]
Zurück zum Zitat Hopfield, J.J.: Neural networks and physical systems with emergent collective computational abilities. In: Proc. Natl. Acad. Sci. USA 79 (1982), April, S. 2554–2558. – Wiederabdruck in [AR88] S. 460-464 Hopfield, J.J.: Neural networks and physical systems with emergent collective computational abilities. In: Proc. Natl. Acad. Sci. USA 79 (1982), April, S. 2554–2558. – Wiederabdruck in [AR88] S. 460-464
[RMS91]
Zurück zum Zitat Ritter, H.; Martinez, T.; Schulten, K.: Neuronale Netze.Addison Wesley, 1991 Ritter, H.; Martinez, T.; Schulten, K.: Neuronale Netze.Addison Wesley, 1991
[Roj93]
Zurück zum Zitat Rojas, R.: Theorie der neuronalen Netze. Springer, 1993 Rojas, R.: Theorie der neuronalen Netze. Springer, 1993
[HT85]
Zurück zum Zitat Hopfield, J.J.; Tank, D.W.: “Neural” Computation of Decisions in Optimization Problems. In: Biological Cybernetics (1985), Nr. 52, S. 141–152. –Springer Hopfield, J.J.; Tank, D.W.: “Neural” Computation of Decisions in Optimization Problems. In: Biological Cybernetics (1985), Nr. 52, S. 141–152. –Springer
[Koh72]
Zurück zum Zitat Kohonen, T.: Correlation matrix memories. In: IEEE Transactions on Computers (1972), Nr. C-21, S. 353–359. –Wiederabdruck in [AR88] S. 171-174 Kohonen, T.: Correlation matrix memories. In: IEEE Transactions on Computers (1972), Nr. C-21, S. 353–359. –Wiederabdruck in [AR88] S. 171-174
[Pal80]
Zurück zum Zitat Palm, G.: On Associative Memory. In: Biological Cybernetics 36 (1980), S. 19-31 Palm, G.: On Associative Memory. In: Biological Cybernetics 36 (1980), S. 19-31
[Pal91]
Zurück zum Zitat Palm, G.: Memory capacities of local rules for synaptic modification. In: Concepts in Neuroscience 2 (1991), Nr. 1, S. 97–128. – MPI Tübingen Palm, G.: Memory capacities of local rules for synaptic modification. In: Concepts in Neuroscience 2 (1991), Nr. 1, S. 97–128. – MPI Tübingen
[Ben88]
Zurück zum Zitat Bentz, Hans J.: Ein Gehirn für den PC. In: c’t (1988), Nr. 10, S. 84-96 Bentz, Hans J.: Ein Gehirn für den PC. In: c’t (1988), Nr. 10, S. 84-96
[HKP91]
Zurück zum Zitat Hertz, J.; Krogh, A.; Palmer, R.: Introduction to the theory of neural computation.Addison Wesley, 1991 Hertz, J.; Krogh, A.; Palmer, R.: Introduction to the theory of neural computation.Addison Wesley, 1991
[Bis06]
Zurück zum Zitat Bishop, C.M.: Pattern recognition and machine learning. Springer New York:, 2006 Bishop, C.M.: Pattern recognition and machine learning. Springer New York:, 2006
[RHR86]
Zurück zum Zitat Rumelhart, D.E.; Hinton, G.E.; R.J., Williams: Learning Internal Representations by Error Propagation.in [RM86], 1986 Rumelhart, D.E.; Hinton, G.E.; R.J., Williams: Learning Internal Representations by Error Propagation.in [RM86], 1986
[RM86]
Zurück zum Zitat Rumelhart, D.; McClelland, J.: Parallel Distributed Processing. Bd. 1. MIT Press, 1986 Rumelhart, D.; McClelland, J.: Parallel Distributed Processing. Bd. 1. MIT Press, 1986
[SR86]
Zurück zum Zitat Sejnowski, T.J.; Rosenberg, C.R.: NETtalk: a parallel network that learns to read aloud / John Hopkins University. 1986 (JHU/EECS-86/01). – Forschungsbericht. –Wiederabdruck in [AR88] S. 661-672 Sejnowski, T.J.; Rosenberg, C.R.: NETtalk: a parallel network that learns to read aloud / John Hopkins University. 1986 (JHU/EECS-86/01). – Forschungsbericht. –Wiederabdruck in [AR88] S. 661-672
[ESS89]
Zurück zum Zitat Ertel, W.; Schumann, J.; Suttner, Ch.: Learning Heuristics for a Theorem Prover using Back Propagation. In: Retti, J. (Hrsg.) ; Leidlmair, K. (Hrsg.): 5. Österreichische Artificial-Intelligence-Tagung.Berlin, Heidelberg : Informatik-Fachberichte 208, Springer-Verlag, 1989, S. 87-95 Ertel, W.; Schumann, J.; Suttner, Ch.: Learning Heuristics for a Theorem Prover using Back Propagation. In: Retti, J. (Hrsg.) ; Leidlmair, K. (Hrsg.): 5. Österreichische Artificial-Intelligence-Tagung.Berlin, Heidelberg : Informatik-Fachberichte 208, Springer-Verlag, 1989, S. 87-95
[SE90]
Zurück zum Zitat Suttner, Ch.; Ertel, W.: Automatic Acquisition of Search Guiding Heuristics. In: 10th Int. Conf. on Automated Deduction, Springer-Verlag, LNAI 449, 1990, S. 470-484 Suttner, Ch.; Ertel, W.: Automatic Acquisition of Search Guiding Heuristics. In: 10th Int. Conf. on Automated Deduction, Springer-Verlag, LNAI 449, 1990, S. 470-484
[RB93]
Zurück zum Zitat Riedmiller, M.; Braun, H.: A direct adaptive method for faster backpropagation learning: The RPROP algorithm. In: Proceedings of the IEEE International Conference on Neural Networks, 1993, S. 586-591 Riedmiller, M.; Braun, H.: A direct adaptive method for faster backpropagation learning: The RPROP algorithm. In: Proceedings of the IEEE International Conference on Neural Networks, 1993, S. 586-591
[LBH15]
Zurück zum Zitat LeCun, Y.; Bengio, Y.; Hinton, G.: Deep Learning.In: Nature 521 (2015), Nr. 7553, S. 436-444 LeCun, Y.; Bengio, Y.; Hinton, G.: Deep Learning.In: Nature 521 (2015), Nr. 7553, S. 436-444
[VLL+10]
Zurück zum Zitat Vincent, P.; Larochelle, H.; Lajoie, I.; Bengio, Y.; Manzagol, P.:Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion. In: J. Mach. Learn. Res. 11 (2010), S. 3371–3408. – ISSN 1532-4435 Vincent, P.; Larochelle, H.; Lajoie, I.; Bengio, Y.; Manzagol, P.:Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion. In: J. Mach. Learn. Res. 11 (2010), S. 3371–3408. – ISSN 1532-4435
[HZRS16]
Zurück zum Zitat He, K.; Zhang, X.; Ren, S.; Sun, J.: Deep residual learning for image recognition.In: Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, S. 770-778 He, K.; Zhang, X.; Ren, S.; Sun, J.: Deep residual learning for image recognition.In: Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, S. 770-778
[NWC+11]
Zurück zum Zitat Netzer, Y.; Wang, T.; Coates, A.; Bissacco, A.; Wu, B.; Ng, A.: Reading digits in natural images with unsupervised feature learning. In: NIPS workshop on deep learning and unsupervised feature learning Bd. 2011, 2011, S. 4. – SVHN-Daten: http://​ufldl.​stanford.​edu/​housenumbers Netzer, Y.; Wang, T.; Coates, A.; Bissacco, A.; Wu, B.; Ng, A.: Reading digits in natural images with unsupervised feature learning. In: NIPS workshop on deep learning and unsupervised feature learning Bd. 2011, 2011, S. 4. – SVHN-Daten: http://​ufldl.​stanford.​edu/​housenumbers
[VTBE15]
Zurück zum Zitat Vinyals, O.; Toshev, A.; Bengio, S.; Erhan, D.: Show and tell: A neural image caption generator. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, S. 3156-3164 Vinyals, O.; Toshev, A.; Bengio, S.; Erhan, D.: Show and tell: A neural image caption generator. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, S. 3156-3164
[RDS+15]
Zurück zum Zitat Russakovsky, O.; Deng, J.; Su, H.; Krause, J. u. a.: ImageNet Large Scale Visual Recognition Challenge.In: International Journal of Computer Vision (IJCV) 115 (2015), Nr. 3, S. 211–252. – http://​image-net.​org Russakovsky, O.; Deng, J.; Su, H.; Krause, J. u. a.: ImageNet Large Scale Visual Recognition Challenge.In: International Journal of Computer Vision (IJCV) 115 (2015), Nr. 3, S. 211–252. – http://​image-net.​org
[ZSQ+17]
Zurück zum Zitat Zhao, H.; Shi, J.; Qi, X.; Wang, X.; Jia, J.:Pyramid Scene Parsing Network. In: CVPR, 2017 Zhao, H.; Shi, J.; Qi, X.; Wang, X.; Jia, J.:Pyramid Scene Parsing Network. In: CVPR, 2017
[ZQS+18]
Zurück zum Zitat Zhao, H.; Qi, X.; Shen, X.; Shi, J.; Jia, J.:ICNet for Real-Time Semantic Segmentation on High-Resolution Images. In: ECCV, 2018 Zhao, H.; Qi, X.; Shen, X.; Shi, J.; Jia, J.:ICNet for Real-Time Semantic Segmentation on High-Resolution Images. In: ECCV, 2018
[FFW+19]
Zurück zum Zitat Fawaz, H.; Forestier, G.; Weber, J.; Idoumghar, L.; Muller, P.-A.:Deep learning for time series classification: a review. In: Data Mining and Knowledge Discovery 33 (2019), Nr. 4, S. 917-963 Fawaz, H.; Forestier, G.; Weber, J.; Idoumghar, L.; Muller, P.-A.:Deep learning for time series classification: a review. In: Data Mining and Knowledge Discovery 33 (2019), Nr. 4, S. 917-963
[BBBK11]
Zurück zum Zitat Bergstra, J.; Bardenet, R.; Bengio, Y.; Kégl, B.:Algorithms for hyper-parameter optimization. In: Advances in Neural Information Processing Systems, 2011, S. 2546-2554 Bergstra, J.; Bardenet, R.; Bengio, Y.; Kégl, B.:Algorithms for hyper-parameter optimization. In: Advances in Neural Information Processing Systems, 2011, S. 2546-2554
[MDA15]
Zurück zum Zitat Maclaurin, D.; Duvenaud, D.; Adams, R.: Gradient-based hyperparameter optimization through reversible learning. In: arXiv preprint arXiv:​1502.​03492 (2015) Maclaurin, D.; Duvenaud, D.; Adams, R.: Gradient-based hyperparameter optimization through reversible learning. In: arXiv preprint arXiv:​1502.​03492 (2015)
[BBSK10]
Zurück zum Zitat Bickerman, Greg; Bosley, Sam; Swire, Peter; Keller, Robert: Learning to create jazz melodies using deep belief nets. In: First International Conference on Computational Creativity, 2010 Bickerman, Greg; Bosley, Sam; Swire, Peter; Keller, Robert: Learning to create jazz melodies using deep belief nets. In: First International Conference on Computational Creativity, 2010
[GPAM+14]
Zurück zum Zitat Goodfellow, I.; Pouget-Abadie, J.; Mirza, M.; Xu, B.; Warde-Farley, D.; Ozair, S.; Courville, A.; Bengio, Y.: Generative adversarial nets. In: Advances in neural information processing systems, 2014, S. 2672-2680 Goodfellow, I.; Pouget-Abadie, J.; Mirza, M.; Xu, B.; Warde-Farley, D.; Ozair, S.; Courville, A.; Bengio, Y.: Generative adversarial nets. In: Advances in neural information processing systems, 2014, S. 2672-2680
[SS02]
Zurück zum Zitat Schölkopf, S.; Smola, A.: Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond. MIT Press, 2002 Schölkopf, S.; Smola, A.: Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond. MIT Press, 2002
[Bis05]
Zurück zum Zitat Bishop, C.M.: Neural networks for pattern recognition. Oxford University Press, 2005 Bishop, C.M.: Neural networks for pattern recognition. Oxford University Press, 2005
[Bur98]
Zurück zum Zitat Burges, C. J.: A Tutorial on Support Vector Machines for Pattern Recognition. In: Data Min. Knowl. Discov. 2 (1998), Nr. 2, S. 121-167 Burges, C. J.: A Tutorial on Support Vector Machines for Pattern Recognition. In: Data Min. Knowl. Discov. 2 (1998), Nr. 2, S. 121-167
[APR90]
Zurück zum Zitat Anderson, J.; Pellionisz, A.; Rosenfeld, E.: Neurocomputing (vol. 2): directions for research.Cambridge, MA, USA : MIT Press, 1990 Anderson, J.; Pellionisz, A.; Rosenfeld, E.: Neurocomputing (vol. 2): directions for research.Cambridge, MA, USA : MIT Press, 1990
[EKN+17]
Zurück zum Zitat Esteva, A.; Kuprel, B.; Novoa, R. u. a.: Dermatologist-level classification of skin cancer with deep neural networks.In: Nature 542 (2017), Nr. 7639, S. 115-118 Esteva, A.; Kuprel, B.; Novoa, R. u. a.: Dermatologist-level classification of skin cancer with deep neural networks.In: Nature 542 (2017), Nr. 7639, S. 115-118
[LST+16]
Zurück zum Zitat Litjens, G.; Sánchez, C.; Timofeeva, N. u. a.: Deep learning as a tool for increased accuracy and efficiency of histopathological diagnosis.In: Nature Scientific Reports 6 (2016), S. 26286 Litjens, G.; Sánchez, C.; Timofeeva, N. u. a.: Deep learning as a tool for increased accuracy and efficiency of histopathological diagnosis.In: Nature Scientific Reports 6 (2016), S. 26286
[RNSS18]
Zurück zum Zitat Radford, A.; Narasimhan, K.; Salimans, T.; Sutskever, I.: Improving language understanding by generative pre-training. (2018) Radford, A.; Narasimhan, K.; Salimans, T.; Sutskever, I.: Improving language understanding by generative pre-training. (2018)
Metadaten
Titel
Neuronale Netze
verfasst von
Wolfgang Ertel
Copyright-Jahr
2021
DOI
https://doi.org/10.1007/978-3-658-32075-1_9

Premium Partner