Now You See Me: Recognizing the Player’s Arousal Changes in the Game Through Game Footage Videos and Game Context Features

Dieses Kapitel vertieft die Komplexität der Affektmodellierung in Videospielen und konzentriert sich auf die Erkennung von Erregungsänderungen durch Videomaterial (GFV) und Spielkontextmerkmale (GCF). Die Autoren sprechen die Grenzen traditioneller Methoden der Affektmodellierung an, die häufig auf invasiven oder unpraktischen Sensoren beruhen und ethischen Überlegungen in realen Szenarien ausgesetzt sind. Um diese Herausforderungen zu bewältigen, wird ein multimodales Deep-Learning-Modell vorgeschlagen, bei dem nicht-intrusive Daten verwendet werden, um eine verlässliche Affektmodellierung zu erreichen. Der Ansatz nutzt das Transfer-Lernen mit einem vorab trainierten Video Vision Transformer (ViViT) -Modell, das zunächst auf einem großen menschlichen Aktionsdatensatz trainiert wurde. Diese Transferlernstrategie versetzt das Modell in die Lage, effektiv die Informationen zu erlernen, die erforderlich sind, um in GFV und GCF eingebettete Veränderungen der Erregung von Spielern zu erkennen. In diesem Kapitel wird auch eine neuartige Methode zur Datenvorverarbeitung vorgestellt, die mehr Proben erzeugt und Datenverluste minimiert, wodurch die Leistung des Modells verbessert wird. Die Wirksamkeit des vorgeschlagenen Ansatzes wird anhand eines öffentlich zugänglichen Datensatzes validiert, der den Stand der Technik mit einer Testgenauigkeit von 79,96% auf den Solid-Spieldaten nachweist. Die Ergebnisse unterstreichen das Potenzial transformatorbasierter Modelle bei der Modellierung von Affekten und die Vorteile der Nutzung von Transferlernen zur Verbesserung der Vorhersagegenauigkeit. Das Kapitel schließt mit einer Diskussion über die Beschränkungen der aktuellen Studie und Anregungen für zukünftige Forschungen, einschließlich der Erforschung anderer Spiele und Spielgenres, sowie den Auswirkungen von Eingabebildauflösung und Fusionsmethoden auf die Modellleistung.