Skip to main content
main-content

Tipp

Weitere Kapitel dieses Buchs durch Wischen aufrufen

2021 | OriginalPaper | Buchkapitel

5. Modellierung lernender Systeme durch Neuronale Netze (NN)

verfasst von: Christina Klüver, Jürgen Klüver, Jörn Schmidt

Erschienen in: Modellierung komplexer Prozesse durch naturanaloge Verfahren

Verlag: Springer Fachmedien Wiesbaden

share
TEILEN

Zusammenfassung

Neuronale Netze gehören, wie bereits in der Einleitung erwähnt, zu den wichtigsten Algorithmen in den Bereichen der KI-Forschung und des Maschinellen Lernens (Machine Learning – ML). Gerade hier hat in den letzten zehn Jahren eine ungemein dynamische Entwicklung stattgefunden. Auf die verschiedenen Erweiterungen der Grundlogik neuronaler Netze, die z. T. kaum noch übersehbar sind, können wir in dieser Einführung nur durch einzelne Beispiele verweisen. Wie bei den anderen Kapiteln geht es auch hier vor allem darum, die allgemeine Logik dieser speziellen (und sehr vielfältigen) Algorithmen so darzustellen, dass eine eigene Beschäftigung auch mit neuesten Entwicklungen möglich und sinnvoll wird.
Fußnoten
1
Insbesondere im Zusammenhang mit „Deep Learning“ wird die Netto-Inputfunktion praktisch nicht mehr erwähnt.
 
2
Man kann natürlich die Schwellenwertfunktion als Aktivierungsfunktion bestimmen, dann ist die Ausgabefunktion die Identitätsfunktion.
 
3
Der Vollständigkeit halber sei noch erwähnt, dass die Notwendigkeit einer Zwischenschicht für die Darstellung der XOR-Funktion „nur“ für den Fall von sog. feed forward Netzen gilt (s. u.), also Netze, bei denen es nur Verbindungen von der Eingabeschicht und ggf. über Zwischenschichten zur Ausgabeschicht gibt. Führt man z. B. auch Verbindungen zwischen den Neuronen in der Eingabeschicht ein, dann kann man ohne Zwischenschicht auskommen. Das hat einer unserer Studierenden, nämlich Robert Hetka (ein promovierter Arzt), gezeigt.
 
4
In den Formeln w.u. zu dreischichtigen Netzen wird in der Formel nicht mehr \(a_j\) eingesetzt, sondern \(o_j\), um deutlich zu machen, dass es sich um den Aktivierungswert des Ausgabeneurons (output j) handelt.
 
5
Eine detaillierte Darstellung der exakten Berechnung im Fall der Backpropagation-Regel findet sich z. B. in Schmidt et al., (2010).
 
6
Die Ähnlichkeit der Begriffe „Graphik“ und „Graph“ ist natürlich kein Zufall und man möge dies nicht als unfreiwilligen Kalauer missverstehen.
 
7
Dabei kann der Fall auftreten, dass bei \({\text{w}_{ij}} = 0\)  zwischen i und j keine Kante existiert, für \({{\text{w}}_{{\text{ij}}}} \ne 0\)wij jedoch eine Kante zwischen j und i. Man sieht, wie wichtig die Definition von NN als gewichtete und damit gerichtete Graphen ist.
 
8
Wir haben dies Maß aus theoretischen Gründen als MC bezeichnet, die hier nicht weiter erläutert werden können (vgl. Klüver & Klüver, 2011).
 
9
Es handelt sich genauer um die logistische Funktion, da die tanh ebenfalls zur Klasse der sigmoiden Funktionen gehört.
 
10
Die Darstellung der LSTM erfolgt nach dem Blog von Christopher Olah: https://​colah.​github.​io/​posts/​2015-08-Understanding-LSTMs/​ (letzter Zugriff am 19.07.2021)
 
11
Bei k-Means handelt es sich um ein partitionierend iteriertes Minimaldistanzverfahren (von der Hude, 2020).
 
12
Die Enforcing Activation Function wurde von Viktor Schäfer entwickelt, die relative Funktion von Björn Zurmaar.
 
13
Dua, D. and Graff, C. (2019). UCI Machine Learning Repository (http://​archive.​ics.​uci.​edu/​ml). Irvine, CA: University of California, School of Information and Computer Science.
 
15
Die Konfusionsmatrix wurden von Simon Matthias Busley implementiert.
 
17
Residuen spielen für Regressionsmodelle eine Rolle; es wird eine Maßzahl gesucht, die angibt, wie stark die Funktion für Vorhersagen von tatsächlichen Beobachtungen abweicht.
 
18
Promovierter Wirtschaftswissenschaftler und Gesundheitsökonom
 
19
Wir verwenden den Begriff Optimierer, um von den Optimierungsverfahren in Kap. 4 zu unterscheiden.
 
20
Dabei handelt es sich um die Forschungsgruppe um Jeremy Howard und Rachel Thomas, die Codes und Bibliotheken für Deep Learning zur Verfügung stellen (https://​www.​fast.​ai/​about/​ – fast-ai).
 
22
Antonius Reifferscheid hat zusätzliche Optimierer untersucht, die hier nicht näher dargestellt werden.
 
23
In der Formel wird \(\alpha\) durch \(\beta\) ersetzt, um an den aktuellen Darstellungen anzupassen.
 
24
Für DRUSEN wurde offensichtlich ein Bild nicht berücksichtigt.
 
25
Die Daten entsprechen der Tab. 3.​6 aus Abschn. 3.​5.​3.​2.
 
Metadaten
Titel
Modellierung lernender Systeme durch Neuronale Netze (NN)
verfasst von
Christina Klüver
Jürgen Klüver
Jörn Schmidt
Copyright-Jahr
2021
DOI
https://doi.org/10.1007/978-3-658-35276-9_5

Premium Partner