Immersive Virtuelle Realität

Spätestens mit dem Auftreten der Sprache haben die Menschen immer wieder neue Methoden gefunden, um sich ihre eigene Wirklichkeit zu schaffen. Dabei werden nicht nur authentische, also tatsächlich passierte Ereignisse, sondern auch fiktionale, also erdachte, Geschichten erzählt und weitergegeben. Geschichten erzeugen beim Rezipienten, also dem Leser, Zuhörer oder Zuschauer, lebendige Bilder, Handlungen, Figuren und Ereignisse in seinem Kopf und schaffen so seine persönliche Version der Geschichte. Die Persönlichkeit des Rezipients mit all seinen Erfahrungen, Überzeugungen und Einsichten spielt dabei eine nicht unerhebliche Rolle bei der Interpretation der Erzählung. So schafft jeder Mensch seine eigene Realität, die durch ihn unbewusst mitgestaltet ist, und er fühlt sich mit ihr verbunden.

Die Erschaffung künstlicher Welten, die begehbar und erlebbar sind, ist seit langem ein Menschheitstraum. Die ersten Umsetzungen dieses Traums begannen bereits vor fast 20.000 Jahren mit den ersten Höhlenmalereien, z. B. in Lascaux, Frankreich. Mit dem Aufkommen der Panoramabilder vor ca. 250 Jahren wurden bereits künstliche Welten geschaffen, die ein großes Sichtfeld abdeckten und den Betrachter vollständig umschlossen. In den darauffolgenden Jahren wurden alle möglichen Tricks, Konstruktionen und bildgebende Technologien eingesetzt, um dem Publikum eine Art Bewegung durch Zeit und Raum zu ermöglichen. Die Entwicklung wurde und wird getrieben durch Erfindergeist, Entrepreneurship, Forschung und Wissenschaft. Dabei gibt es Erfolge, aber auch Misserfolge.

Um eine möglichst hohe Immersion durch technische Systeme realisieren zu können, sind ein grundlegendes Verständnis der menschlichen Sinneswahrnehmung und die konsequente Berücksichtigung in der Umsetzung nötig. Nach Bellebaum et al. (2012) bedeutet Wahrnehmung „die Umwelt in all ihren Eigenschaften mit den zur Verfügung stehenden Sinnen zu erfahren, Ereignisse und Dinge zu erkennen und zu klassifizieren [...]“. Dabei werden Sinnesreize von Rezeptoren in elektrische Signale umgesetzt (Transduktion), was sekundäre Vorgänge hervorruft (Transformation). Die Rezeptoren sind entweder in Sinnesorganen gruppiert (z. B. Zapfen und Stäbchen im Auge oder Haarzellen im Ohr) oder befinden sich im Gewebe verteilt (z. B. Schmerzrezeptoren). Die wahrgenommene Reizstärke kann dabei proportional zur Intensität der Stimulation sein oder bei konstanter Stimulation mit der Zeit abnehmen (Differentialempfindlichkeit). Nachdem die Sinnesorgane die Reize registriert haben, werden diese über sensorische Neuronen als Information an das Gehirn (Zentralnervensystem) weitergeleitet, wo sie weiterverarbeitet und interpretiert werden. Ein Reiz erreicht die Nervenzellen jedoch nur dann, wenn er einen bestimmten Schwellwert übersteigt (stark genug ist).

Der Begriff der Interaktion (von lat. inter, dt. zwischen, und actio, dt. Tätigkeit) bezieht sich im Allgemeinen auf die gegenseitige Beeinflussung von Akteuren oder Systemen. Er wird in den verschiedensten Wissensbereichen in unterschiedlichen Auslegungen verwendet. In der Physik, als Beispiel, steht Interaktion für die fundamentale Wechselwirkung zwischen Elementarteilchen.

In naturbelassenen Umgebungen, wie unberührte Natur, war der Mensch darauf angewiesen, sich an die gegebenen Bedingungen anzupassen und zu lernen, die natürlichen Hinweise seiner Umgebung zu interpretieren. Demgegenüber steht der urbane Raum. Er zeichnet sich neben einer hohen Bevölkerungs- und Bebauungsdichte insbesondere durch seine funktionsräumliche Spezialisierung aus. Um sich in dieser künstlichen Umgebung, bei der viele Gebäude etc. gleich aussehen, zurecht zu finden, verlässt sich der Mensch auf künstliche Indikatoren, wie Schilder. In der digitalen Welt verlassen wir uns auf Symbole, die sich teilweise an vertrauten Konzepten aus der realen Welt orientieren und diese abstra- hieren. Diese Symbole werden in der Benutzungsoberfläche, auch umgangssprachlich Benutzeroberfläche oder Bedienoberfläche, als Interaktionsschnittstelle zwischen Nutzer und der Anwendung eingesetzt. Schaltflächen, Menüs, Symbolleisten, Bildlaufleisten, Fenster und Taskleisten sind Elemente einer grafischen Schnittstelle. Ein Widget ist ein virtuelles Objekt der Benutzungsoberfläche, das ein visuelles Ziel für Benutzereingaben bietet und auf diese reagiert.

Zum großflächigen Erkunden und Interagieren in einer virtuellen Umgebung ist entscheidend, dass der eigene Standort verändert werden kann. Die Fortbewegung, die auch Lokomotion (lat. locus für Ort bzw. Stelle sowie motio für Bewegung) genannt wird, ermöglicht dem Nutzer, den Blickwinkel in der virtuellen Umgebung mit Hilfe verschiedener Bewegungsmethoden zu verändern. Die Fortbewegung ist ebenso wie die Interaktionsmethode eine essentielle Komponente der immersiven VR. Ebenso wie die Interaktion hat die gewählte Fortbewegungsmethode einen erheblichen Einfluss auf die Nutzererfahrung und die Produktivität (Bozgeyikli et al. (2016) Point and teleport locomotion technique for virtual reality. In: Proceedings of the 2016 annual symposium on computer-human interaction in play, pp 205–216). Der Begriff Fortbewegung ist vom Begriff Körperbewegung insofern abgegrenzt, da sich der erste auf die Veränderung des Ortes bezieht und der zweite auf die Veränderung der Gliedmaßen.

Die Erfassung (engl. sensing) des Nutzers sowie die Interpretation von Zuständen und Aktionen anhand der Daten, die an die Anwendung übermittelt werden, entscheiden maßgebend über die Möglichkeiten, die in einer immersiven VR-Anwendung realisiert werden können. Somit ist die Erfassung des Nutzers eine der wichtigsten Aufgaben in immersiven VR-Anwendungen und hat primär folgende Ziele:

Damit aus Sensordaten relevante Information abgeleitet werden können, müssen die Daten oft in einen zeitlichen Zusammenhang gesetzt und interpretiert werden. Die Detektion erkennt das Vorhandensein eines bestimmten Merkmals oder Ereignisses, i. d. R. indem ein Bereich innerhalb der Sensordaten anhand von Signalverarbeitung und Mustererkennung als zugehörig zu einer bestimmten Klasse (z. B. Gesicht, Hand) entdeckt und identifiziert wird. Detektiert werden immer einzelne Beobachtungen (z. B. ein Frame im Videobild oder Spektrogramm), ohne jedoch den zeitlichen Zusammenhang innerhalb der Daten zu berücksichtigen. Allerdings können durch eine Zeitreihenanalyse Messergebnisse signifikant verbessert und zusätzliche Information aus den Daten abgeleitet werden. Daher ist die Verfolgung (engl. tracking) bestimmter Signale innerhalb der Messdaten, z. B. die Bewegung des Nutzers und die Weitergabe an die 3D-Umgebung, eine weitere wichtige Komponente, um die Qualität des immersiven VR-Gesamtsystems zu verbessern.

Die Menschen interagieren mit der Welt über ihre Sinne. Eine vollständig immersive virtuelle Welt wäre in der Lage, alle Sinne durch eine vollständig künstliche Umgebung so zu stimulieren, dass die Menschen perfekt getäuscht würden. Um eine möglichst präzise Stimulation der einzelnen Sinne zu ermöglichen und die jeweiligen Besonderheiten adressieren zu können, werden für jede Sinnesmodalität eigene Geräte entwickelt. Je nach Sinneswahrnehmung gelingt dies mehr (visuelle und auditive Wahrnehmung) oder weniger (olfaktorische, gustatorische, haptische und taktile Wahrnehmung und Propriozeption) gut.

Der Begriff filmische virtuelle Realität (engl. cinematic virtual reality, oft auch nur cinematic reality, kurz CVR) umfasst immersive 360° und interaktive filmähnliche Unterhaltung (MacQuarrie and Steed (2017) Cinematic virtual reality: evaluating the effect of display type on the viewing experience for panoramic video. In: 2017 IEEE Virtual Reality (VR). IEEE, pp 45–54). Als Ausgabegerät wird, wie bei anderen Formen der immersiven VR, ebenso ein getragenes Headset verwendet. Daher unterscheiden die breite Öffentlichkeit und viele Befürworter und Praktiker von VR nicht zwischen filmischer und anderen Formen der immersiven VR (Dolan and Parets (2016) Redefining the axiom of story: the VR and 360 video complex. Techcrunch Online). Andere sehen hier jedoch grundsätzliche Unterschiede, denn bei der filmischen VR werden Inhalte nicht in Echtzeit generiert, die Möglichkeiten der Interaktion und freien Fortbewegung sind stark eingeschränkt und es gibt einen linearen, weitgehend festgelegten Ablauf der Geschichte. Die Möglichkeit der Interaktion beschränkt sich lediglich auf die Kopforientierung, der Standort kann nicht selbstbestimmt verändert werden.

Der Mensch ist ein soziales und kommunikatives Wesen und nutzt seine Stimme, sein Gesicht und seinen Körper zur verbalen als auch nonverbalen Kommunikation. Die Kommunikation zwischen Menschen findet nicht nur auf den offensichtlichen Kanälen (visuell und akustisch), sondern auch unbewusst und „zwischen den Zeilen“ statt. Unsere Worte und die Art, wie wir sprechen, machen nur etwa, je nach Literatur, 30 bis 45 % unserer Kommunikation aus. Mit 55 bis 70 % macht die nonverbale Kommunikation den größeren Anteil der menschlichen Kommunikation aus (Mehrabian 2017). Körperhaltung und Körperbewegungen, Gesichtsausdruck sowie Berührungen geben subtile Hinweise auf Haltung, Persönlichkeit und Absicht (Phutela 2015). Wenn sich Menschen in einer interaktiven Situation nicht verbal äußern, findet dennoch eine nonverbale Kommunikation statt. Selbst keine Kommunikation, z. B. auf eine Anfrage nicht zu reagieren, kann bereits eine Nachricht vermitteln. Der Kommunikationswissenschaftler Paul Watzlawick verdeutlichte das mit seinem berühmt gewordenen ersten Axiom seines Kommunikationsmodells: „Man kann nicht nicht kommunizieren“, denn jegliche Form der Kommunikation ist Verhalten und genauso, wie ein Mensch sich nicht nicht verhalten kann, kann er nicht nicht kommunizieren (Watzlawick et al. 2007).

Es gibt umfangreiche Ansätze, um Lernprozesse unter Einbeziehung von Technologie zu verbessern. Dabei werden unterschiedliche Begriffe wie technologiegestütztes Lernen, multimediales Lernen, eLearning usw. verwendet. Aktuell ziehen die sogenannten immersiven Lernumgebungen die Aufmerksamkeit vieler Pädagogen auf sich, da reale Situationen zum Lernen, mit einem sehr hohen Detailgrad, nachgeahmt werden können (Parong und Mayer 2018). Immersives Lernen (engl. immersive learning) bezeichnet eine Lernmethode, bei der die Lernenden in eine virtuelle Welt eintauchen, und bezieht sich meistens auf die Nutzung eines HMDs. BITKOM definiert immersives Lernen in ihrem 2020 erschienenen Impulspapier (Geugis und Fell 2020) als „einen Lernansatz, der digitale Technologien wie VR oder AR nutzt, um Lernende beim Kompetenzaufbau sowie beim Erlernen von Prozessen zu unterstützen. Dies wird u. a. durch die Interaktion, das selbstständige Handeln sowie das Eintauchen des Lernenden in eine interaktive Lernumgebung erreicht.“ Immersiven Medien wird ein großes Potenzial im Bereich des Lehrens und Lernens einschließlich der Umsetzung von neuartigen Lehr- und Lernszenarien zugesprochen (Zender et al. 2018).

Dass der Homo sapiens in Wahrheit ein Homo ludens, also ein spielender Mensch ist (Huizinga 1956), führt dazu, dass sich der Mensch auch spielerisch mit der Umwelt auseinandersetzt, sich somit Dinge aneignet, und nach immer neuen spielerischen Erfahrungen strebt. Zu spielen bedeutet, sich mit einer ausgedachten, nach bestimmten Regeln funktionierenden Welt zu beschäftigen. Die Spielwelten können dabei durch Spielpläne ein-, zwei- oder dreidimensionale Räume aufspannen, die gegebenenfalls durch Spielsteine besiedelt werden. Dabei bleibt die Welt aber weitestgehend abstrakt und erschließt sich primär durch die Fantasie des Spielers oder der Spielergruppe. Während eine physikalische Manifestation das Spielen erleichtert, ist dies nicht zwingend nötig. Beim Blindschach z. B. wird rein aus dem Gedächtnis gespielt. Durch die Digitalisierung können Spiele in neue Dimensionen vorstoßen und die aufgespannten Welten können den Realismusgrad, die Interaktivität und das intelligente Verhalten, z. B. durch künstliche Intelligenz agierende Spielfiguren, weiter steigern. VR-Spiele (engl. VR games) heben diese Möglichkeiten noch einmal auf eine neue Ebene. Auf der Game Developers Conference 2014 in San Francisco erklärt Shuhei Yoshida, Präsident der Worldwide Studios von Sony Computer Entertainment (freie Übersetzung des Autors): „Die [immersive] VR ist ein Traum vieler Spieleentwickler, seit das Computerspiel erfunden wurde. […] Viele von uns bei PlayStation haben von einer [immersiven] VR geträumt und davon, was sie für die Spiele bedeuten könnte, die wir entwickeln.“

Standortbezogene virtuelle Realität (engl. location-based virtual reality, kurz LBVR) leitet sich vom Begriff standortbezogene Unterhaltungsangebote (engl. location-based entertainment) ab. Standortbezogene Unterhaltungsangebote, in denen Menschen die ihnen zur Verfügung stehende Freizeit genießen, sind z. B. Vergnügungsgärten oder Freizeitparks. In Kombination mit immersiver VR lassen sich so Erlebnisse erschaffen, wie es im eigenen Zuhause nicht möglich ist.

Bei der virtuellen Entwicklung (engl. virtual engineering) werden Entwicklungsprozesse durch digitale, dreidimensionale Modelle unterstützt. Dafür werden häufig digitale Zwillinge (engl. digital twin) eingesetzt, bei denen physische Objekte als auch Prozesse in der digitalen Welt abgebildet werden. Ob der analoge Zwilling bereits in der realen Welt vorhanden ist oder erst entwickelt werden soll, ist dabei unerheblich.

Angesichts der Fähigkeit, sowohl reale als auch imaginäre Szenarien abzubilden, bietet das Medium der immersiven VR eine geeignete Grundlage für die Untersuchung von unterschiedlichsten sozialen und psychologischen Phänomenen. Hierbei können sowohl Untersuchungen durchgeführt werden, die Erfahrungen der physischen Welt entsprechen, als auch solche, die im Realen nicht umsetzbar sind. Somit ist der Einsatz der immersiven VR im Bereich der Sozialwissenschaften naheliegend und bereits in den frühen 1990ern wurde der Nutzen immersiver VR für die Sozialwissenschaften entdeckt (Biocca (1992) J Commun 42:5–5). Die Hoffnung hierbei ist, dass die Erkenntnisse über das menschliche Verhalten, die in immersiven VR-Umgebungen gewonnen werden, entsprechend auf reale Situationen übertragbar sind.