3. Künstliche Neuronale Netze

Vgl. McCulloch und Pitts 1943; Zell 1994, S. 3; Wiedmann und Buckler 2003, S. 48.

McCorduck 1979, S. 93.

Vgl. Görz 1993, S. 4. Für eine Detaillierte historische Ausarbeitung siehe Levine 2000, S. 11–32.

Vgl. Goodfellow, Bengio und Courville 2016, S. 98.

Vgl. Goodfellow, Bengio und Courville 2016, S. 30.

Siehe auch Goodfellow, Bengio und Courville 2016, S. 99.

Vgl. Jordan und Mitchell 2015, S. 255.

Vgl. Wiedmann und Buckler 2003, S. 48; Zell 1994, S. 461.

Vgl. Crone 2010, S. 159. Zum mathematischen Beweis siehe Cybenko 1989.

Hiermit sind beispielsweise die klassische Regressionsanalyse und Zeitreihenmodelle gemeint.

Vgl. Wiedmann und Buckler 2003, S. 48 f.

Vgl. Kappes und Schentler 2015, S. 74.

Zur Definition vorwärts gerichteter KNN siehe Abschnitt 3.4.

Vgl. Goodfellow, Bengio und Courville 2016, S. 225 mit Verweis auf Leibniz 1679; L’Hôptial 1696.

Siehe hierzu im selbigen Kontext Cauchy 1847.

Siehe hierzu Goodfellow, Bengio und Courville 2016, S. 225 mit dem Verweise auf Rumelhart, Hinton und Williams 1986; Hinton und Sejnowski 1986.

Vgl. Goodfellow, Bengio und Courville 2016, S. 226.

Vgl. Goodfellow, Bengio und Courville 2016, S. 227, sowie den in Y. LeCun, Bengio und Hinton 2015, S. 442, zu finden Verweis auf die Arbeit von Krizhevsky, Sutskever und Hinton 2012.

Dies ist der so genannte nabla-Operator.

Siehe für eine erste Idee Agrawal, Gans und Goldfarb 2018, S. 74 f.

Die Bilderkennung und Spracherkennung machen einen hohen Teil der Forschungsbestrebungen aus. Anhand dieser zwei Strömungen soll hier die Inspiration der Umsetzung dieser Untersuchung skizziert werden.

Das angeleitete oder auch überwachte Lernen, siehe Abschnitt 3.1, wird als supervised learning bezeichnet. Zum Unterschied des überwachten und nicht überwachten Lernens siehe Russell und Norvig 2016.

Die Beispiele sollen der Veranschaulichung dienen.

Zu Lernalgorithmen siehe Goodfellow, Bengio und Courville 2016, S. 99 ff.

Vgl. Wiedmann und Buckler 2003, S. 70.

Eigene Darstellung. Für eine umfangreiche Betrachtung siehe Wiedmann und Buckler 2003, S. 70.

Siehe zum Thema der ausbalancierten Daten Provost und Fawcett 2013, sowie die Ausführungen in Abschnitt 4.​2.​1.​2.

Zur genaueren Auseinandersetzung mit der Auswahl und Aufbereitung der Daten, sowie mit der Ausgestaltung des Instrumentes KNN und deren Hyperparameter siehe Abschnitt 4.​2.

Zur Thematik des Kategorisieren von Bildern mit Sicherheitsabfragen siehe o. V. 2019b.

Zum grundsätzlichen Aufbau siehe etwa Wiedmann und Buckler 2003, S. 52; Brause 1995.

Hierbei sei angemerkt, dass es spezifizierter heißen müsste, dass es sich um einen Baustein eines KNN handelt. Aufgrund der Übersichtlichkeit und dem Vorhaben, dem Leser einen Überblick in die Thematik zu verschaffen wird in diesem Abschnitt keine explizite Unterscheidung zwischen einem Systemteil, dem Neuron, und der Verknüpfung dieser in einem Netz vorgenommen, auch wenn dies zu einem Bruch in der Notation führen wird.

Genauer handelt es sich um einen stark vereinfachten Baustein, da so noch kein Netz vorliegt.

Vgl. Sarle 1994; Hastie, Tibshirani und Friedman 2009, S. 43. Wichtig ist hier anzumerken, dass die lineare Regression einen Spezialfall der Regressionsverfahren darstellt, welche ganz allgemein versuchen, eine Kurve durch eine Punktwolke zu legen. Die Eigenschaften der linearen Regression sind nicht gleichzusetzen mit denen der KNN. (Vgl. dazu etwa Wiedmann und Buckler 2003, S. 47).

Einführend zum Thema Regressionsanalyse siehe Allison 1999; Backhaus u. a. 2016; Urban und Mayerl 2006.

Zur Verwendung der Regressionsanalyse gibt es mehrere Voraussetzungen. Für das hier zur Einführung in die computergestützten Methoden herangezogene lineare Regressionsmodell sind dies etwa die Variabilität, Linearität, ein metrisches Niveau der Regressoren, korrekte Spezifizierung durch das Modell, Stichprobe muss größer sein als die Anzahl der Regressoren, Störgrößen haben den Erwartungswert Null, keine Kovarianzen zwischen unabhängiger Variablen und Fehlerterm, Homoscedastizität, keine Autokorrelation, keine Multikolinearität und zu guter Letzt Normalverteilung der Störgrößen. Es bestehen jeweils Wege um die Annahmen zu adjustieren oder durch geeignete Werkzeuge zu entschärfen. Für die fachliche Auseinandersetzung mit der Thematik siehe etwa: Backhaus u. a. 2006, Gujarati 2003. Hier wird der Ansatz der computergestützten Methoden verfolgt und die Regression soll den Einstieg in die Thematik darstellen. Wie sich zeigen wird, resultiert aus der Erweiterung des Systems des zunächst sehr simpel gehaltenen KNN eine Methode, welche viele Annahmen der Statistik an die lineare Regression nicht benötigt, denn es wird sich schlussendlich nicht mehr um diese handeln. Mit anderen Worten besteht das angestrebte System nicht lediglich aus einem Vielfachen von linearen Regressionsanalysen, sondern der Aufbau oder besser die Idee der linearen Regressionsanalyse kann ein Teilstück des Ganzen sein.

Vgl. Goodfellow, Bengio und Courville 2016, S. 678.

Dieses gilt es in den folgenden Ausführungen zu beschreiben.

Zum Thema Reduktion der Komplexität von Matrizen siehe Srebro und Shraibman 2005. Zur Notwendigkeit der Standardisierung zur Robustheit siehe Iglewicz 1983.

Im Bereich des maschinellen Lernens werden die Fehlerfunktionen häufig als Kostenfunktionen bezeichnet. Dies führt insbesondere in der Disziplin der Betriebswirtschaftslehre ggf. zu Missverständnissen, da es sich keineswegs um eine klassische Kostenfunktion mit etwaigen fixen und variablen Kostenteilen handelt. Da der Terminus im maschinellen Lernen ebenso eine feste Bedeutung einnimmt, wie in der Betriebswirtschaftslehre, die Motivation der Arbeit ein betriebswirtschaftlicher ist, wird in dieser Arbeit der Begriff Fehlerfunktion verwendet.

Da es sich bei den hier angeführten Ideen um einen zweidimensionalen Raum handelt, gibt es durchaus nennenswerte Funktionen, bei denen lokale Minima auftreten. Im angestrebten Anwendungsbereich der KNN ist der Lösungsraum jedoch hochdimensional, weshalb dieser Umstand zunächst zu vernachlässigen ist.

Für nicht differenzierbare Funktionen besteht die Möglichkeit, die Methode des Zufallsaufstiegs anzuwenden.

In der Abbildung wird ein Maximum gesucht.

Die im Rahmen des Gradientenverfahren benutzte Schrittweite \(\eta \) wird im Kontext der Methodik KNN als Lernrate bezeichnet, wie im weiteren Verlauf dieses Kapitels erläutert wird.

Zu den Varianten siehe die Ausführung im Abschnitt 3.4.2 zum Backpropagation-Verfahren.

Vgl. etwa die Gegenüberstellung der beiden Verfahren in Wilson und Martinez 2003.

Vgl. Hochreiter und Schmidhuber 1997, S. 2; Kruse u. a. 2016, S. 26.

Eine Epoche ist mit einem Trainingsdurchlauf zu beschreiben, der alle Trainingsdaten einbezieht.

Vgl. Géron 2017, S. 115. Zur sogenannten Delta-Lernregel siehe Rumelhart, Hinton und Williams 1986.

Vgl. Russell und Norvig 2004, S. 896.

Siehe zur Idee des Aufbaus dieses Abschnitt 3.3 Seemann 2019.

Vgl. Goodfellow, Bengio und Courville 2016, S. 112.

Eigene Darstellung.

Vgl. Hinton und Sejnowski 1986, S. 8 ff.

Die Abbildung wurde mit Hilfe von Matplotlib in Python erstellt.

Vgl. Hinton und Sejnowski 1986, S. 9.

Als Aktivierungsfunktion für viele Schichten, die hier jedoch nicht vorliegen, erweist sich eine andere Aktivierungsfunktion als praktikabel. Dies ist die ReLu-Funktion, wie Glorot, Bordes und Bengio 2011 zeigen. Siehe dazu Abschnitt 3.4.3.

Vgl. Goodfellow, Bengio und Courville 2016, S. 195; Crone 2010, S. 173.

Siehe dazu Gleichung 3.3.

Siehe etwa Russell und Norvig 2004, S. 898.

Zur binären Schreibweise bzw. One-Hot-Encoding des exklusiven Oder (XOR) siehe etwa Rumelhart, Hinton und Williams 1986, S. 1.

Zur Notation siehe Russell und Norvig 2004, S. 896.

Siehe zum Batch-Verfahren Abschnitt 3.3.2.

Hier findet sich damit die Schreibweise aus Gleichung 3.3 wieder.

Vgl. Russell und Norvig 2004, S. 898. In der Informatik wird zwischen einem ‚oder‘ und einem ‚entweder oder‘, d. h. einem ‚exklusiven oder‘ unterschieden. Die Ansätze werden häufig gebraucht um Modellierungen umzusetzen. XOR meint eine ‚entweder oder‘-Verknüpfung. Dabei gilt es beispielsweise im Rahmen der Wahrheitstabelle genau dann einen Wert \({>}0.5\) auszugeben, wenn entweder \(x_0\) oder \(x_1\) einen Wert von 1 haben, nicht jedoch, wenn keine der Variable oder beide den Wert von 1 aufweisen.

Zum Unterschied der Regression und Klassifikation siehe etwa Wiedmann und Buckler 2003, S. 58.

MNIST ist eine sehr bekannte Datenbank, welche 60.000 Bilder von handschriftlich erstellten Ziffern (0 bis 9) beinhaltet. Die Bilder sind \(28 \times 28\) Pixel groß und samt Label in Training- und Testdaten unterteilt. Abrufbar sind diese unter http://​yann.​lecon.​com/​exdb/​mnist. Eine kurze Beschreibung findet sich in Srivastava u. a. 2014, S. 1953 f.

Das Bild wurde mit der vorgefertigten Funktion imshow() aus matplotlib in python erstellt. Hier werden die Helligkeitswerte farblich interpretiert. Die ursprünglichen Daten sind in schwarz/weiß bereitgestellt.

Visualisiert mit Matplotlib.

Siehe zur Thematik der unausgeglichenen Daten auch 4.​2.​1.​2.

In der Literatur gibt es diesbezüglich keine einheitliche Notation. In dieser Arbeit wird die aus Stanfort stammende Schreibweise verwendet.

Siehe zu dieser Thematik ebenfalls Abschnitt 4.​2.​1.​3.

Für Python im Package scikitlearn im Unterpacket preprocessing verwendbar unter OneHotEncoder().

In der hier zur Veranschaulichung erläuterten Anwendung auf den MNIST-Datensatz sind dies die Ziffern.

Hier ist zunächst nur eine verdeckte Schicht angeführt und dient als Anknüpfung an den vorangegangen Abschnitt.

Siehe hier zur Generalisierung der Delta-Regel Rumelhart, Hinton und Williams 1986, S. 4.

Damit sind die vorhandenen Datensätze im Training-Set gemeint.

Dieser Wert wird über die Batchsize bestimmt.

Für jede Variable der letzten Schicht.

Vgl. Y. LeCun, Bengio und Hinton 2015, S. 438; Hochreiter und Schmidhuber 1997, S. 3; Rosenblatt 1961, S. 292.

Dies ist in Abschnitt 3.3 der Fall.

Rumelhart, Hinton und Williams 1986, S. 4.

Der Gradientenabstieg kann im Kontext des Backpropagation-Verfahrens zurückgeführt werden auf Werbos 1990; Zell 1994, S. 105 ff.; Rumelhart, Hinton und Williams 1986.

Vgl. Goodfellow, Bengio und Courville 2016, S. 204.

Vgl. Mozolin, Thill und Usery 2000, S. 57; Werbos 1990, S. 1550.

Als Beispiel hierfür siehe etwa Goodfellow, Bengio und Courville 2016.

Hier besteht die Annahme, dass die Funktionen die Anforderungen der Ableitungsregeln erfüllen.

Vgl. Kourentzes, Barrow und Crone 2014, S. 3 mit Verweis auf Rumelhart, Hinton und Williams 1986 und Werbos 1990.

Für einen Überblick siehe K. 2007, S. 100 und dortigen Verweis auf weitere Literatur.

Vgl. Goodfellow, Bengio und Courville 2016, S. 174.

Diese sigmoide Funktion wird im maschinellen Lernen kurz als Sigmoidfunktion bezeichnet.

Eine Art Gleichrichter, engl. Rectifier.

Wie oben ebenfalls korrigiert um einen Schwellwert.

Vgl. Géron 2017, S. 262. Für die ReLU-Funktion existieren weitere Abwandlungen, wie etwa die Leaky-ReLU oder die ELU-Funktion. Siehe Géron 2017, S. 279 f.

Diese Arbeit beschränkt sich auf die Ausgestaltung vorwärtsgerichteter vollständig verknüpfter Topologie.

Vgl. Kingma und Ba 2015. Das Symbol \(\otimes \) meint eine Multiplikation Element für Element. Das Symbol \(\oslash \) meint eine Subtraktion Element für Element.

Damit gilt nach wie vor das ‚no free lunch‘-Theorem.