Student Engagement Detection Based on Head Pose Estimation and Facial Expressions Using Transfer Learning

Das Kapitel geht auf die entscheidende Herausforderung ein, das Engagement der Studenten im Fernstudium aufrechtzuerhalten, das aufgrund des technologischen Fortschritts und globaler Ereignisse wie der COVID-19-Pandemie zunehmend an Bedeutung gewonnen hat. Es unterstreicht die Grenzen manueller und halbautomatischer Erkennungsmethoden, die zeitaufwändig sind und auf Selbstanzeigen der Lernenden beruhen. Der vorgeschlagene Ansatz nutzt zwei Datensätze: die Head Pose Image Database zur Verfolgung der Kopforientierung und den DAISEE-Datensatz zur Analyse von Gesichtsausdruck und Interaktionsverhalten. Die Methode umfasst einen zweistufigen Verifikationsprozess: Erstens wird anhand einer Schätzung der Kopfhaltung festgestellt, ob der Student nach vorne schaut, und zweitens wird der Gesichtsausdruck analysiert, um das Engagement zu bewerten. Das Kapitel behandelt die Architektur und die Ergebnisse der verwendeten Modelle, einschließlich eines CNN zur Schätzung der Kopfhaltung und vortrainierter Modelle wie ResNet50 und EfficientNet zur Analyse des Gesichtsausdrucks. Die Ergebnisse zeigen die Effektivität dieses integrierten Ansatzes bei der Bereitstellung einer umfassenden Echtzeit-Evaluierung des Engagements von Studenten und bieten wertvolle Erkenntnisse zur Verbesserung der Bildungserfahrungen.