Skip to main content
Registrieren
Springer Professional
SUCHE
MENÜ 1 2 3 4
main-content
nach oben

Tipp

Weitere Kapitel dieses Buchs durch Wischen aufrufen

Erschienen in:
Einführung Kapitel lesen Erstes Kapitel lesen

2021 | OriginalPaper | Buchkapitel

9. Neuronale Netze

verfasst von: Wolfgang Ertel

Erschienen in: Grundkurs Künstliche Intelligenz

Verlag: Springer Fachmedien Wiesbaden

Einloggen, um Zugang zu erhalten
share
TEILEN

Zusammenfassung

Nach etwa 30 Jahren Forschung an neuronalen Netzen ist mit Deep Learning der Durchbruch gelungen. Mit dem Ziel, die wichtigsten Ideen hinter Deep Learning zu verstehen, starten wir bei biologischen neuronalen Netzen und dem Hopfield Modell. Dann führen wir den bis heute fundamentalen Backpropagation Algorithmus ein um schließlich Deep Learning und dessen Anwendungen darzustellen.
Vorheriges Kapitel Maschinelles Lernen und Data Mining
Nächstes Kapitel Lernen durch Verstärkung (Reinforcement Learning)
Fußnoten
1
Die Bionik beschäftigt sich mit der Entschlüsselung von „Erfindungen der belebten Natur“ und ihrer innovativen Umsetzung in der Technik (s. Wikipedia).
 
2
Auch der Autor wurde von dieser Welle erfasst, die ihn 1987 von der Physik in die KI führte.
 
3
Für eine deutliche Unterscheidung zwischen Trainingsdaten und anderen Werten eines Neurons werden wir im Folgenden die Anfragevektoren immer mit \({\boldsymbol{q}}\) (von engl. query) und die gewünschten Antwortvektoren mit \({\boldsymbol{t}}\) (von engl. target) bezeichnen.
 
4
Historisch wurde Backpropagation mit der Sigmoidfunktion implementiert. Mittlerweile haben sich jedoch andere Funktionen als besser bewährt (siehe Abschn. 9.5.3).
 
5
Der Begriff „tief“ ist hier zu verstehen im Sinne von tiefem Eindringen in das Netzwerk.
 
6
Anschauliche Darstellungen solcher Merkmale inklusive Erklärung finden sich auf http://​mlss.​tuebingen.​mpg.​de/​2015/​slides/​fergus/​Fergus_​1.​pdf.
 
7
Im Fall eines Grauwertbilds.
 
9
Will man Kanten von Weiss nach Schwarz in gleicher Weise erkennen, dann muss man nach Anwendung von K den Absolutbetrag des Ergebnisses nehmen.
 
10
Dokumentation mit vielen Beispielen auf https://​keras.​io
 
11
Ein Beispiel mit Bilddaten in JPG-Dateien findet sich in Aufgabe 9.14.
 
12
Im Backpropagation-Algorithmus aus Abschn. 9.5 sind dies die Werte \(\delta ^{(p)}_j\).
 
15
Die Support-Vektor-Maschinen sind keine neuronalen Netze. Aufgrund der historischen Entwicklung und ihrer mathematischen Verwandtschaft zu linearen Netzen ist es didaktisch sinnvoller, sie hier zu behandeln.
 
Literatur
[AR88]
Anderson, J.; Rosenfeld, E.: Neurocomputing: Foundations of Research. Cambridge, MA : MIT Press, 1988. – Sammlung von Originalarbeiten
[Hop82]
Hopfield, J.J.: Neural networks and physical systems with emergent collective computational abilities. In: Proc. Natl. Acad. Sci. USA 79 (1982), April, S. 2554–2558. – Wiederabdruck in [AR88] S. 460-464
[RMS91]
Ritter, H.; Martinez, T.; Schulten, K.: Neuronale Netze.Addison Wesley, 1991
[Roj93]
Rojas, R.: Theorie der neuronalen Netze. Springer, 1993
[HT85]
Hopfield, J.J.; Tank, D.W.: “Neural” Computation of Decisions in Optimization Problems. In: Biological Cybernetics (1985), Nr. 52, S. 141–152. –Springer
[Zel94]
[Koh72]
Kohonen, T.: Correlation matrix memories. In: IEEE Transactions on Computers (1972), Nr. C-21, S. 353–359. –Wiederabdruck in [AR88] S. 171-174
[Pal80]
Palm, G.: On Associative Memory. In: Biological Cybernetics 36 (1980), S. 19-31
[Pal91]
Palm, G.: Memory capacities of local rules for synaptic modification. In: Concepts in Neuroscience 2 (1991), Nr. 1, S. 97–128. – MPI Tübingen
[Ben88]
Bentz, Hans J.: Ein Gehirn für den PC. In: c’t (1988), Nr. 10, S. 84-96
[HKP91]
Hertz, J.; Krogh, A.; Palmer, R.: Introduction to the theory of neural computation.Addison Wesley, 1991
[Bis06]
Bishop, C.M.: Pattern recognition and machine learning. Springer New York:, 2006
[RHR86]
Rumelhart, D.E.; Hinton, G.E.; R.J., Williams: Learning Internal Representations by Error Propagation.in [RM86], 1986
[RM86]
Rumelhart, D.; McClelland, J.: Parallel Distributed Processing. Bd. 1. MIT Press, 1986
[SR86]
Sejnowski, T.J.; Rosenberg, C.R.: NETtalk: a parallel network that learns to read aloud / John Hopkins University. 1986 (JHU/EECS-86/01). – Forschungsbericht. –Wiederabdruck in [AR88] S. 661-672
[ESS89]
Ertel, W.; Schumann, J.; Suttner, Ch.: Learning Heuristics for a Theorem Prover using Back Propagation. In: Retti, J. (Hrsg.) ; Leidlmair, K. (Hrsg.): 5. Österreichische Artificial-Intelligence-Tagung.Berlin, Heidelberg : Informatik-Fachberichte 208, Springer-Verlag, 1989, S. 87-95
[SE90]
Suttner, Ch.; Ertel, W.: Automatic Acquisition of Search Guiding Heuristics. In: 10th Int. Conf. on Automated Deduction, Springer-Verlag, LNAI 449, 1990, S. 470-484
[RB93]
Riedmiller, M.; Braun, H.: A direct adaptive method for faster backpropagation learning: The RPROP algorithm. In: Proceedings of the IEEE International Conference on Neural Networks, 1993, S. 586-591
[Ert15]
[LBH15]
LeCun, Y.; Bengio, Y.; Hinton, G.: Deep Learning.In: Nature 521 (2015), Nr. 7553, S. 436-444
[GBC16]
[VLL+10]
Vincent, P.; Larochelle, H.; Lajoie, I.; Bengio, Y.; Manzagol, P.:Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion. In: J. Mach. Learn. Res. 11 (2010), S. 3371–3408. – ISSN 1532-4435
[HZRS16]
He, K.; Zhang, X.; Ren, S.; Sun, J.: Deep residual learning for image recognition.In: Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, S. 770-778
[Ben16]
[LBBH98]
[NWC+11]
Netzer, Y.; Wang, T.; Coates, A.; Bissacco, A.; Wu, B.; Ng, A.: Reading digits in natural images with unsupervised feature learning. In: NIPS workshop on deep learning and unsupervised feature learning Bd. 2011, 2011, S. 4. – SVHN-Daten: http://​ufldl.​stanford.​edu/​housenumbers
[VTBE15]
Vinyals, O.; Toshev, A.; Bengio, S.; Erhan, D.: Show and tell: A neural image caption generator. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, S. 3156-3164
[RDS+15]
Russakovsky, O.; Deng, J.; Su, H.; Krause, J. u. a.: ImageNet Large Scale Visual Recognition Challenge.In: International Journal of Computer Vision (IJCV) 115 (2015), Nr. 3, S. 211–252. – http://​image-net.​org
[ZSQ+17]
Zhao, H.; Shi, J.; Qi, X.; Wang, X.; Jia, J.:Pyramid Scene Parsing Network. In: CVPR, 2017
[ZQS+18]
Zhao, H.; Qi, X.; Shen, X.; Shi, J.; Jia, J.:ICNet for Real-Time Semantic Segmentation on High-Resolution Images. In: ECCV, 2018
[FFW+19]
Fawaz, H.; Forestier, G.; Weber, J.; Idoumghar, L.; Muller, P.-A.:Deep learning for time series classification: a review. In: Data Mining and Knowledge Discovery 33 (2019), Nr. 4, S. 917-963
[LM18]
[BBBK11]
Bergstra, J.; Bardenet, R.; Bengio, Y.; Kégl, B.:Algorithms for hyper-parameter optimization. In: Advances in Neural Information Processing Systems, 2011, S. 2546-2554
[MDA15]
Maclaurin, D.; Duvenaud, D.; Adams, R.: Gradient-based hyperparameter optimization through reversible learning. In: arXiv preprint arXiv:​1502.​03492 (2015)
[BBSK10]
Bickerman, Greg; Bosley, Sam; Swire, Peter; Keller, Robert: Learning to create jazz melodies using deep belief nets. In: First International Conference on Computational Creativity, 2010
[Kar15]
[GEB15]
[GPAM+14]
Goodfellow, I.; Pouget-Abadie, J.; Mirza, M.; Xu, B.; Warde-Farley, D.; Ozair, S.; Courville, A.; Bengio, Y.: Generative adversarial nets. In: Advances in neural information processing systems, 2014, S. 2672-2680
[SS02]
Schölkopf, S.; Smola, A.: Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond. MIT Press, 2002
[Bis05]
Bishop, C.M.: Neural networks for pattern recognition. Oxford University Press, 2005
[Bur98]
Burges, C. J.: A Tutorial on Support Vector Machines for Pattern Recognition. In: Data Min. Knowl. Discov. 2 (1998), Nr. 2, S. 121-167
[APR90]
Anderson, J.; Pellionisz, A.; Rosenfeld, E.: Neurocomputing (vol. 2): directions for research.Cambridge, MA, USA : MIT Press, 1990
[EKN+17]
Esteva, A.; Kuprel, B.; Novoa, R. u. a.: Dermatologist-level classification of skin cancer with deep neural networks.In: Nature 542 (2017), Nr. 7639, S. 115-118
[LST+16]
Litjens, G.; Sánchez, C.; Timofeeva, N. u. a.: Deep learning as a tool for increased accuracy and efficiency of histopathological diagnosis.In: Nature Scientific Reports 6 (2016), S. 26286
[RNSS18]
Radford, A.; Narasimhan, K.; Salimans, T.; Sutskever, I.: Improving language understanding by generative pre-training. (2018)
[BMR+20]
Metadaten
Titel
Neuronale Netze
verfasst von
Wolfgang Ertel
Copyright-Jahr
2021
Buch
Grundkurs Künstliche Intelligenz

Print ISBN: 978-3-658-32074-4

Electronic ISBN: 978-3-658-32075-1

Copyright-Jahr: 2021

DOI
https://doi.org/10.1007/978-3-658-32075-1_9

Premium Partner

    Version: 0.2067.0