Enhancing Surrogate Decision Trees for Reinforcement Learning with Feature Importance Matrices

Dieses Kapitel befasst sich mit der Verbesserung von Ersatzentscheidungsbäumen für verstärktes Lernen (RL) unter Verwendung von Merkmalsbedeutungsmatrizen. Sie konzentriert sich auf die Verbesserung der Interpretierbarkeit und Genauigkeit von RL-Modellen, insbesondere von Modellen, die den Advantage Actor Critic (A2C) -Algorithmus verwenden. Das Kapitel untersucht zwei Hauptarten von Merkmalsbedeutung: sensitivitätsbasiert und beitragsbasiert, und führt eine neue Methode zur Ermittlung von sensitivitätsbasierter Merkmalsbedeutung anhand jakobinischer und zentraler endlicher Unterschiede ein. Die Autoren zeigen, wie diese Ansätze genutzt werden können, um Ersatzbäume zu erzeugen, die mehrere Gegenfaktoren aufweisen. Das Kapitel vergleicht auch verschiedene Methoden zur Kombination von Informationen über die Wichtigkeit von Merkmalen und bewertet die Leistung einzelner und mehrerer Ansätze. Die Ergebnisse zeigen, dass einzelne Ersatzbäume, die durch Finite Differences voreingenommen sind, die Wichtigkeitsgewichtungsfunktion und Varianzgewichtung verwenden, im Allgemeinen die Richtlinien und den einheitlichen Zustandsraum des tiefen RL-Modells für kategorische Domänen am besten annähern. Das Kapitel schließt mit Vorschlägen für zukünftige Arbeiten, einschließlich der Verbesserung der Binning-Funktionen für genauere Knotensplits und der Bewertung der Verbesserung von Ersatzmodellen, die aus einer vielfältigeren Reihe von Flugbahnen erstellt wurden.