Theorie der neuronalen Netze

Die Forschung auf dem Gebiet der künstlichen neuronalen Netze hat in den letzten Jahren rasant an Tempo gewonnen. Seit die amerikanischen Forscher Warren McCulloch und Walter Pitts im Jahre 1943 die ersten künstlichen neuronalen Netze entwarfen, ist die Anzahl von untersuchten Modellen von Jahr zu Jahr gestiegen. Ihre mathematische Analyse hat manche offenen Fragen gelöst und natürlich auch neue aufgeworfen. In der Biologie ist die Beschäftigung mit den Nervenzellen, mit ihrer Verschaltung und mit dem Gehirn ein zentraler Bereich der modernen For­schung geworden. Die Bedeutung des Studiums des Nervensystems für Mediziner und Biologen läßt sich an der Tatsache erkennen, daß zwischen 1901 und 1991 etwa 10% der Nobelpreise für Medizin und Physiologie an Forscher vergeben wur­den, die einen direkten Beitrag auf dem Gebiet der Neurologie geleistet haben. Die Behauptung, daß in den letzten 50 Jahren mehr über das Gehirn und die Nervenzel­len in Erfahrung gebracht wurde als in all den Jahrhunderten zuvor, ist sicherlich nicht übertrieben.

Die Betrachtung der Eigenschaften biologischer neuronaler Netze im vorherigen Kapitel hat uns die Grundlagen zur Formulierung eines abstraktes Modells für künstliche neuronale Netze vermittelt. Wichtig ist bei diesen Modellen das Verhalten des Netzes, und nicht seine genaue Struktur, die erst in einem Lernprozeß endgültig festgelegt wird. Künstliche neuronale Netze werden im Prinzip als eine Art black box verwendet, die für eine gewisse Eingabe eine bestimmte Ausgabe erzeugen soll. In das Netz wird im allgemeinen ein n-dimensionaler reeller Vektor (x ₁, x ₂,…, x _n ) eingegeben, dem ein m-dimensionaler Vektor (y _l, y ₂,…, y _m ) als Ausgabe entspricht.

Mit McCulloch-Pitts-Zellen können Netze aufgebaut werden, die in der Lage sind, beliebige logische Funktionen zu berechnen und endliche Automaten zu simulieren — dies ist das Hauptergebnis des vorherigen Kapitels. Die Art der Schaltungen, die mit diesen Zellen gebaut werden, ist aber biologisch gesehen nicht so relevant. Eigentlich werden McCulloch-Pitts-Zellen fast wie konventionelle logische Bausteine benutzt. Da bereits geklärt wurde, welche Berechnungen prinzipiell mit diesen Zellen durchgeführt werden können, ist es jetzt möglich, komplexere Modelle zu betrachten.

In beiden vorherigen Kapiteln wurden zwei eng verwandte Modelle untersucht — die McCulloch-Pitts-Zellen und das Perzeptron. Das letztere kann als Verallgemeinerung des ersten aufgefaßt werden. Andererseits können McCulloch-Pitts-Zellen aber auch ein beliebiges Perzeptron mit rationalen Gewichten simulieren.

Der Perzeptron-Lernalgorithmus ist ein Beispiel für überwachtes Lernen. Diese Art des Lernens scheint biologisch wenig plausibel, da immer ein „Lehrer“ die Ausgabe überprüfen und gegebenenfalls eine Korrektur der Gewichte anordnen muß. Einige Forscher haben deswegen andere Lernverfahren entwickelt, durch welche die Netzelemente bestimmte Gewichte in einem sich selbstorganisierenden Prozeß erhalten. Bei unüberwachtem Lernen werden die Korrekturen für die Netzgewichte nicht von außen veranlaßt, da in vielen Fällen die Antwort für das vorhandene Problem unbekannt ist. Das Netz muß selbst bestimmen, ob eine Änderung der Gewichte notwendig ist oder nicht.

Die Eigenschaften einzelner Berechnungselemente von neuronalen Netzen wurden in den vorherigen Kapiteln ausführlich untersucht. Im Kap. 5 wurde außerdem die Vernetzung von mehreren Neuronen in einer einzigen „Berechnungsschicht“ behandelt. Der nächste Schritt besteht darin, einfache, mehrschichtige Netze aufzustellen und ihre Eignung für die Lösung unterschiedlicher Probleme zu betrachten.

Im vorigen Kapitel haben wir den Backpropagation-Algorithmus beschrieben und hergeleitet. In diesem Kapitel werden wir hinter die Kulissen schauen, um seine Konvergenz und andere Eigenschaften verstehen zu können.

In den vorherigen zwei Kapiteln wurden die Eigenschaften von Netzen mit mehreren Schichten und die des Backpropagation-Algorithmus untersucht. Es ist deutlich geworden, daß Backpropagation eine statistische Methode der Funktionsapproximation ist, doch blieb offen, welche Funktionen sich mit neuronalen Netzen exakt oder als Näherung berechnen lassen und wie groß der für die Bestimmung der Gewichte einer im voraus gewählten Netzarchitektur erwartete Rechenaufwand ist. Diese zwei Probleme wollen wir in diesem Kapitel behandeln.

Im letzten Kapitel wurde gezeigt, daß das Lernproblem für eine breite Klasse von neuronalen Netzen NP-vollständig ist. Lernalgorithmen benötigen in der Regel einen Zeitaufwand, der exponentiell mit der Größe des Netzes steigt. Dazu kommt ein zweiter grundlegender Aspekt: Wenn das Netz trainiert worden ist, verhalten sich seine einzelnen Neuronen wie Elemente, die bestimmte primitive Funktionen berechnen. Diese entsprechen allerdings nicht den normalen logischen Funktionen wie AND und OR, sondern sind viel allgemeiner. Neuronen mit einer Sigmoide-Ausgabefunktion sind nicht auf die zwei Werte 0 oder 1 beschränkt, sondern können alle reellen Zahlen zwischen 0 und 1 ausgeben. Dies erschwert die Interpretation der Funktionsweise des Netzes und verwandelt es in eine Art black box, die eine statistische Approximation für Funktionen liefert, von denen nur eine Trainingsmenge bekannt ist. Bei vielen Anwendungen ist jedoch eine Interpretation der Netzausgabe unerläßlich oder zumindest erwünscht. In solchen Fällen kommen die Methoden der Fuzzy-Logik zum Einsatz.

Ein besonders wichtiges Problem rekursiver neuronaler Netze stellt die Synchronisation der Berechnungselemente im Netz dar. Im Fall der McCulloch-Pitts-Zellen und der damit aufgebauten Netze wurde dieses Problem in der Weise gelöst, daß die Aktivierung einer Zelle eine Zeiteinheit benötigt. Das Netz wird dann so konstruiert, daß die Synchronisation der Elemente durch ihre Anordnung garantiert ist. In Fällen, wo dies schwierig ist, können zusätzliche Zellen eingebaut werden, deren einzige Aufgabe es ist, eine Verzögerung zu erzeugen.

Die neuronalen Netze, die in den vorherigen Kapiteln untersucht wurden, lassen sich zur Lösung bestimmter logischer Probleme oder zur assoziativen Verknüpfung von Daten verwenden. Rekursive Netze, insbesondere solche, für die eine Energiefunktion definiert wird, können darüber hinaus für die Lösung von kombinatorischen und Optimierungsproblemen eingesetzt werden. Vor allem Hopfield-Netze und ihre Varianten sind dafür geeignet.

Wesentliches Ergebnis des letzten Kapitels war, daß Hopfield-Netze die Lösung solcher Berechnungsprobleme erlauben, die als Optimierung einer Energiefunktion dargestellt werden können. Sind die Netzgewichte festgelegt worden, so zeigen Hopfield-Netze spontane Berechnungseigenschaften. Der größte Nachteil dieser inhärenten Dynamik besteht darin, daß das Netz bei manchen Problemen nur lokale Minima und nicht das gesuchte globale Minimum der Energiefunktion erreicht. Diese Situation tritt z.B. beim Acht-Damen-Problem ein, bei dem die Anzahl der lokalen Minima die Anzahl der globalen bei weitem übertrifft. Es ist nun zu fragen, ob es Varianten des Hopfield-Modells gibt, die bei kombinatorischen Optimierungsproblemen bessere Resultate erzielen können.

In den vorherigen Kapiteln wurden sehr unterschiedliche Modelle neuronaler Netze untersucht — lineare und rekursive, überwachte, sich selbstorganisierende Netze usw. Jedem Modell lag jeweils ein theoretisches Paradigma zu Grunde. Asynchrone Netze z.B. wurden nicht mit synchronen Netzen gekoppelt. Netze mit binären Ausgaben wurden nicht mit solchen mit stetigen Ausgaben vernetzt. In diesem Kapitel heben wir diese strenge Trennung der Modelle auf und fragen nach den Eigenschaften hybrider Netze. Von Interesse sind vor allem solche, die eine selbstorganisierende Schicht mit anderen, konventionelleren Schichten verschalten.

Lernen in neuronalen Netzen entspricht einem Optimierungsprozeß, bei dem die Fehlerfunktion eines Netzes minimiert wird. Für die Optimierung kann eine beliebige Methode verwendet werden. Daher lohnt es sich, die Effizienz und Zuverlässigkeit verschiedener Strategien näher zu untersuchen.