Multimodal Adaptive Behavior Generation During Human–Agent Interaction

Das Kapitel beginnt mit der Untersuchung grundlegender Aspekte der Mensch-Mensch-Interaktion, bei der Informationen durch multimodale Signale wie Sprachinhalte, Gesten und Prosodie ausgetauscht werden. Es betont den kontinuierlichen, dynamischen und wechselseitigen Charakter der Anpassung in diesen Interaktionen, der entscheidend ist, um virtuelle Akteure sozialer und engagierter zu machen. Das Kapitel stellt die NoXi-Datenbank vor, einen reichhaltigen Datensatz bildschirmvermittelter face-to-face-Interaktionen, der als empirische Grundlage für die Studie dient. Detaillierte Methoden zur Extraktion und Vorverarbeitung von Features werden beschrieben, um die Genauigkeit und Zuverlässigkeit der Daten zu gewährleisten. Die Evaluierung des adaptiven Verhaltens wird durch neuartige Synchronmessungen und Entrainment-Schleifen erforscht, die sowohl synchronisierte als auch unsynchronisierte Gesprächspartner erfassen. Das Kapitel stellt dann das ASAP-Modell vor, eine ausgeklügelte Architektur, die darauf ausgelegt ist, multimodales, wechselseitig anpassungsfähiges Verhalten zu erzeugen. Dieses Modell beinhaltet Datenvermehrung, Selbstaufmerksamkeitsstutzen und autoregressive adaptive Online-Vorhersagen, die die Generierung natürlicher und menschenähnlicher Agenten ermöglichen. Die Effektivität des ASAP-Modells wird sowohl durch objektive als auch subjektive Bewertungen demonstriert, die seine Überlegenheit gegenüber Basismodellen unter Beweis stellen. Darüber hinaus wird in diesem Kapitel die Entwicklung des IAVA-Systems diskutiert, eines Echtzeit-adaptiven Virtuellen Agenten-Systems, das für die kognitive Verhaltenstherapie (CBT) entwickelt wurde. Hervorgehoben wird die Fähigkeit des Systems, sich an das Nutzerverhalten anzupassen und einen ausdrucksstarken, kohärenten verbalen Kontext zu erzeugen, sowie sein Potenzial, die Nutzererfahrung und die Effektivität von CBT zu verbessern. Das Kapitel schließt mit der Validierung des Einflusses adaptiver Agenten auf die Verbesserung der Nutzerwahrnehmung und der CBT-Ergebnisse und liefert überzeugende Argumente für die Integration adaptiver Fähigkeiten in virtuelle Agenten.