Multimodale Interaktion in der Virtuellen Realität

Virtuelle Realität oder Virtual Reality (VR) bezeichnet ein neuartiges Kommunikationsmedium, das die unmittelbare Wechselwirkung des Menschen mit räumlich organisierten rechnergenerierten Darstellungen erlaubt. Verbunden mit körperlich verankerter Interaktion finden insbesondere gestische Eingaben starkes Interesse. Dieser Beitrag gibt einen Überblick über Forschungsarbeiten im Labor für Künstliche Intelligenz und Virtuelle Realität an der Universität Bielefeld, mit denen Grundlagen für den Einsatz gestischer und sprachlicher Interaktionstechniken entwickelt werden; als Erprobungsdomäne dient ein Szenario des virtuellen Konstruierens. Für die schnelle Erfassung komplexer Hand-Armgesten werden derzeit Datenhandschuhe und Körper-Tracker eingesetzt. Die Auswertung erfolgt mit wissensbasierten Ansätzen, die atomare Formelemente der Gestik symbolisch beschreiben und zu größeren Einheiten zusammensetzen. Ein zweites Thema ist die multimodale Interaktion durch sprachlich-gestische Eingaben, z.B. wenn auf einen Gegenstand gezeigt („dieses Rohr“) oder eine Drehrichtung („so herum“) signalisiert wird. Schließlich wird dargestellt, wie die Ansätze zur Formbeschreibung von Gesten für die Synthese natürlich wirkender gestischer Ausgaben mit einer artikulierten, anthropomorphen Figur übertragen werden können, die in laufenden Arbeiten mit Sprachausgaben koordiniert werden.