Patch Pruning Strategy Based on Robust Statistical Measures of Attention Weight Diversity in Vision Transformers

Dieses Kapitel stellt eine neuartige Strategie zum Beschneiden von Patches für Vision Transformers (ViTs) vor, die sich auf die Vielfalt der Aufmerksamkeitsgewichte in verschiedenen Köpfen konzentriert. Die Methode zielt darauf ab, die Rechenkomplexität von ViTs zu reduzieren, die proportional zum Quadrat der Anzahl der Patches ist, indem redundante Patches beschnitten werden, die nicht wesentlich zur endgültigen Vorhersage beitragen. Die vorgeschlagene Strategie behält Flecken mit hoher Variabilität der Aufmerksamkeitswerte über verschiedene Köpfe hinweg bei, was auf vielfältigere Aufmerksamkeitsdarstellungen hindeutet, während diejenigen mit geringer Variabilität zurückgeschnitten werden. Die Methode wird auf vorausgebildete ViT-Modelle angewendet, ohne deren Architektur zu ändern, wodurch Verbesserungen bei den Rechenkosten und dem Durchsatz sowohl während des Trainings als auch bei der Schlussfolgerung erreicht werden. Bei Aufgaben zur Bildklassifizierung reduziert die Methode effektiv die Anzahl der Patches bei minimaler Leistungsminderung, was sie zu einem praktischen Ansatz für die Leichtgewichtung von Modellen macht. Das Kapitel untersucht auch die Verwendung sich überschneidender Flächen, um eine höhere Klassifizierungsgenauigkeit bei FLOPs zu erreichen, die mit denen ohne Schnitt vergleichbar oder niedriger sind. Die Ergebnisse zeigen, dass die vorgeschlagene Methode hinsichtlich Genauigkeit und Effizienz die bestehenden Schnittmethoden übertrifft.