A Cross-Modal Attention and Multi-task Learning Based Approach for Multi-modal Sentiment Analysis

Dieses Kapitel vertieft sich in das fortgeschrittene Thema der multimodalen Stimmungsanalyse und konzentriert sich auf die Integration von Text-, Audio- und Bilddaten, um die Stimmungsklassifizierung und Emotionserkennung zu verbessern. Das vorgeschlagene Modell nutzt intermodale Aufmerksamkeitsmechanismen und multitasales Lernen, um komplexe Interaktionen zwischen verschiedenen Modalitäten zu erfassen. Durch die gemeinsame Nutzung von Parametern und die duale Erkennung von Emotionen und Empfindungen vermeidet das Modell Überanpassungen und lernt allgemeinere Merkmalsdarstellungen. Experimentelle Ergebnisse des CMU-MOSEI-Datensatzes zeigen die überlegene Leistung des Modells sowohl bei der Stimmungsklassifizierung als auch bei der Emotionserkennung, insbesondere bei Emotionen wie Ekel und Überraschung. Das Kapitel beleuchtet das Potenzial multimodaler Ansätze bei der Überwachung der öffentlichen Meinung, der Produktanalyse und der Mensch-Computer-Interaktion und bietet einen umfassenden Überblick über den Stand der Technik in diesem aufstrebenden Bereich.