22. Mit Hirnforschung die KI besser verstehen

Das Black-Box-Problem, das sich auf das unzureichende Verständnis und die schwierige Interpretation tiefer neuronaler Netze bezieht, ist nach wie vor eine große Herausforderung für die KI. EU und DARPA betonen die Notwendigkeit der Transparenz und Erklärbarkeit der KI. Neurowissenschaftliche Methoden könnten helfen, künstliche neuronale Netze besser zu verstehen und zu interpretieren. In der Hirnforschung bezeichnet eine Läsion eine Schädigung eines Teils des Nervensystems, die wertvolle Einblicke in die Funktionen verschiedener Gehirnregionen bietet. Ein ähnlicher Ansatz wird in der KI-Forschung verwendet, um die Rolle verschiedener Komponenten in künstlichen neuronalen Netzen zu verstehen. Dies wird erreicht, indem bestimmte Neuronen, Schichten oder Verbindungen entfernt oder verändert werden und die daraus resultierenden Veränderungen in der Ausgabe oder Leistung des Netzes beobachtet werden. Verschiedene Techniken zur Netzwerkvisualisierung ermöglichen ebenfalls Einblicke in die Funktionen von tiefen neuronalen Netzen. Neuronen können sich auf die Erkennung spezifischer Merkmale spezialisieren, während andere auf abstraktere Konzepte reagieren. Merkmalsvisualisierung ist eine weitere Methode, die auf neurowissenschaftlichen Konzepten basiert und einen Optimierungsprozess verwendet, um die Aktivierung eines bestimmten Neurons oder einer Schicht zu maximieren. Eine verwandte Methode, die Layer-wise Relevance Propagation, leitet die Ausgabe des Modells zurück zur Eingabeschicht und weist jedem Neuron und Merkmal des Inputs Relevanzbewertungen zu.