SwitchPath: Enhancing Exploration in Neural Networks Learning Dynamics

Im Kapitel "SwitchPath: Enhancing Exploration in Neural Networks Learning Dynamics" wird SwitchPath vorgestellt, eine neuartige stochastische Aktivierungsfunktion, die zwischen Standard-ReLU und ihrem negativen Gegenstück umschaltet. Diese Funktion verbessert die Exploration und Robustheit neuronaler Netzwerke ohne die rechnerischen Ineffizienzen von Methoden wie Dropout. Inspiriert von Entscheidungsbäumen und epsilon-gierigen Algorithmen balanciert SwitchPath Exploration und Ausbeutung aus, verbessert die Verallgemeinerung und reduziert die Überausstattung. Das Manuskript präsentiert eine umfassende Methodik, einschließlich Schulungs- und Inferenz-Phasen, und demonstriert SwitchPaths überlegene Leistung durch Experimente mit Computer-Vision-Netzwerken und Vision Transformers. Darüber hinaus untersucht es die Auswirkungen von SwitchPath auf generative Modelle und GANs und zeigt seine Fähigkeit, den Zusammenbruch des Modus abzumildern. Das Kapitel schließt mit zukünftigen Forschungsrichtungen, wobei das Potenzial von SwitchPath in verschiedenen fortgeschrittenen Anwendungen neuronaler Netzwerke hervorgehoben wird.