Multimodal Behavior Modeling

Dieses Kapitel untersucht den komplizierten Prozess der sozialen Kommunikation, bei dem multimodale Verhaltenssignale wie gesprochene und geschriebene Worte, Bilder und Gesten integriert und analysiert werden. Er geht den Herausforderungen der automatischen Messung sozialer Absichten in spontanen Situationen nach und betont die Notwendigkeit ausgeklügelter Techniken, die den menschlichen Bewertungsfähigkeiten entsprechen. Der Text erläutert die Definition der Verhaltensmodellierung und ihre rechnerischen Herausforderungen und betont die Bedeutung multimodaler Interaktionen in der menschlichen Kommunikation. Er diskutiert die Knappheit und Qualität gemeinsamer Datensätze über kommunikative Interaktionen, die Komplexität der Interaktionen zwischen mehreren Signalen und die Mehrdeutigkeit sozialer Signale. Das Kapitel stellt zwei Beispiele vor: multimodale ASS-Schwereabschätzung und soziale Kompetenzabschätzung, die die Anwendung konventioneller maschineller Lernmodelle zur Lösung dieser Probleme veranschaulichen. Sie umfasst auch die menschliche Bewertung sozialer Interaktion, detaillierte Kennzahlen und die Rolle erfahrener Berufstätiger bei der Bewertung sozialer Kompetenzen. Das Kapitel schließt mit Zukunftsaussichten, in denen das Potenzial sequentieller Modelle und großer Sprachmodelle zur Überwindung aktueller Beschränkungen und zur Förderung der multimodalen Verhaltensmodellierung diskutiert wird.