Neuronale Netze

Bei der Repräsentation von Wissen unterscheiden wir die explizite und die implizite Repräsentation. Bei der expliziten Repräsentation setzt sich das Gesamtwissen zusammen aus lokal begrenztem Einzelwissen wie z.B. einzelnen Fakten oder Regeln. Bei der impliziten Repräsentation existiert keine solche Abgrenzung, vielmehr basiert das Gesamtwissen auf dem komplexen Zusammenwirken vieler Einzelkomponenten. Beispiele hierfür sind im Bereich der neuronalen Netzmodelle das Multilayer Perceptron und die Boltzmann-Maschine [Ackley, Hinton, Sejnowski 85], [Hinton, Sejnowski 86]. In beiden Modellen wird das Gesamtverhalten durch ein global wirkendes Gradientenabstiegsverfahren optimiert, d.h. es werden bei jedem zu lernenden Beispiel (Assoziation) alle Parameter des Netzes gleichzeitig verändert.

Eine fundamentale Aufgabe für jedes Lebewesen ist es, Strategien zu erlernen, die sein Verhalten in seinem Lebensraum optimieren (siehe Abb. 3.1). Auf die vielfältigen Aspekte der Begriffe Strategie und Lernen werden wir im folgenden nicht eingehen, vielmehr reduzieren wir diese auf Verhalten und Optimieren. Wenn wir also im folgenden sagen, daß ein Agent eine Strategie S besitzt, soll das nur heißen, daß er jeweils bei Eingabe einer Situationsbeschreibung x die Aktion S(x) wählt. Ferner verstehen wir unter Lernen nur das Optimieren von S hinsichtlich eines Verhaltensfehlers.

Der hier vorgestellte evolutionäre Netzwerkoptimierer ENZO ist ein hybrider Ansatz, bei dem effiziente lokale Optimierungsverfahren (Gradientenabstieg) und globale Suchverfahren (Evolution) integriert werden. Die Evolution automatisiert hierbei die üblicherweise verwendete Trial-and-Error-Suche nach einer geeigneten Topologie durch den Anwender. Bei unseren experimentellen Untersuchungen haben wir gezeigt, daß sich durch die systematische Suche drastische Verbesserungen erzielen lassen. Die von uns erzielten Reduzierungen der Netzgröße beispielsweise um Faktor 8 oder Reduzierung der Eingabedimension um Faktor 4 (siehe Abschnitte 4.3.3.3-4.3.3.5) können aber nicht garantiert werden, da sich die Evolution auch manuell durch Interaktion des Benutzers durchführen läßt: Der Benutzer testet systematisch gemäß Trial-and-Error einige Topologien und variiert (=Mutation) die erfolgversprechenden Topologien (= Population) so lange, bis er keine Verbesserungen mehr erzielen kann. In diesem Fall lßßt sich eventuell auch durch ENZO nichts verbessern. Da unsere Benchmark-Probleme jedoch zufällig aus vorhandenen Benchmark-Sammlungen ausgewählt wurden, zeigen die Ergebnisse, daß diese Optimierung in der Praxis typischerweise auf Grund des enormen Zeitaufwands für den Anwender unterbleibt. Der Anwender ist meistens damit zufrieden, irgendeine akzeptable Lösung zu besitzen, ohne auf deren Minimalität zu achten. Durch ENZO hat der Anwender nun ein Werkzeug an der Hand, das ihm die lästige Suche nach einer möglichst optimalen Topologie abnimmt. Es verbleibt für ihn nur, das Optimalitätskriterium zu spezifizieren. Dieses wird dann als Fitneß-Funktion durch die Evolution optimiert.