Hierarchical Modeling with Neurodynamical Agglomerative Analysis

Wir schlagen eine neue Analysemethode für neuronale Netzwerke vor, die Neurodynamical Agglomerative Analysis (NAA), eine Analyse-Pipeline zum Vergleich von Klassenrepräsentationen innerhalb eines bestimmten neuronalen Netzwerkmodells. Die vorgeschlagene Pipeline führt zu einer Hierarchie der Klassenbeziehungen, die durch die Netzwerkrepräsentation impliziert wird, d.h. zu einer semantischen Hierarchie, die einer menschgemachten ontologischen Sicht der relevanten Klassen entspricht. Wir verwenden Netzwerke, die auf Grundlage des ImageNet-Benchmark-Datensatzes vortrainiert wurden, um semantische Hierarchien zu schließen und die Ähnlichkeit zu menschengemachten semantischen Hierarchien aufzuzeigen, indem wir sie mit der WordNet-Ontologie vergleichen. Ferner zeigen wir anhand von MNIST-Trainingsexperimenten, dass Klassenbeziehungen, die mittels NAA extrahiert werden, für zufällige Gewichtsinitialisierungen invariant erscheinen und in hinreichend parametrisierten Netzwerken zu gleichwertigen Klassenbeziehungen neigen.