Skip to main content

2023 | OriginalPaper | Buchkapitel

8. Erfassung des Nutzers

verfasst von : Matthias Wölfel

Erschienen in: Immersive Virtuelle Realität

Verlag: Springer Berlin Heidelberg

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Zusammenfassung

Die Erfassung (engl. sensing) des Nutzers sowie die Interpretation von Zuständen und Aktionen anhand der Daten, die an die Anwendung übermittelt werden, entscheiden maßgebend über die Möglichkeiten, die in einer immersiven VR-Anwendung realisiert werden können. Somit ist die Erfassung des Nutzers eine der wichtigsten Aufgaben in immersiven VR-Anwendungen und hat primär folgende Ziele:
  • die Verortung des Nutzers in der virtuellen Welt zu bestimmen,
  • die Nutzereingabe für Steuerfunktionen zu erfassen,
  • die Darstellung des Nutzers als Avatar im virtuellen Raum zu ermöglichen,
  • die Sicherheit des Nutzers im realen Raum zu gewährleisten und
  • das Nutzerverhalten zu analysieren (z. B. für Biofeedback).

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Fußnoten
1
Beim Biofeedback werden körpereigene, biologische Vorgänge dem Nutzer bereitgestellt, z. B. als visuelle oder akustische Information.
 
2
Als körpernahe Sensoren werden Sensoren bezeichnet, die in der Hand gehalten oder am Körper befestigt werden.
 
3
RGB repräsentiert die drei Grundfarben Rot, Grün und Blau.
 
4
Der Dynamikumfang bezeichnet den Unterschied zwischen der hellsten und der dunkelsten Stelle in einem Bild oder zwischen dem leisesten und dem lautesten Geräusch.
 
5
Sensorrauschen sind Störungen infolge von sensorinternen Rauschprozessen.
 
6
Durch Frequenzmultiplexverfahren, engl. frequency-division multiplexing.
 
7
Durch Zeitschlitzverfahren, engl. time-division multiplexing.
 
8
Durch Codemultiplexverfahren, engl. code-division multiplexing.
 
9
Motoneuronen sind Nervenzellen des zentralen Nervensystems, die eine direkte oder indirekte Kontrolle über einen Muskel ausüben.
 
10
Entsprechend spricht man auch von der Blickverfolgung (engl. gaze tracking) und der Augenverfolgung (engl. eye tracking), wenn ein zeitlicher Verlauf betrachtet wird.
 
11
Ein Rig ist eine für die Animation von 3D-Modellen definierte Kontrollstruktur aus Knochen (engl. bones) oder Gelenken (engl. joints), die vorgibt, wie Teile eines Polygonnetzes bewegt werden können.
 
12
Blend Shapes oder Morph Targets beschreiben eine Technik, um ein einzelnes Basenetz (z. B. ein ausdrucksloses Gesicht) verformen zu lassen, um zahlreiche vordefinierte Formen (Lachen, Stirnrunzeln, geschlossene Augenlider, angehobene Augenbrauen, Mundformen von Vokalen, Konsonanten usw.) und eine beliebige Anzahl von Kombinationen zwischen diesen Formen darstellen zu können.
 
13
Die Koartikulation ist ein phonetisches Phänomen, bei dem ein Laut durch den lautlichen Kontext beeinflusst wird.
 
Literatur
Zurück zum Zitat Ahmad A, Migniot C, Dipanda A (2019) Hand pose estimation and tracking in real and virtual interaction: a review. Image Vis Comput 89:35–49CrossRef Ahmad A, Migniot C, Dipanda A (2019) Hand pose estimation and tracking in real and virtual interaction: a review. Image Vis Comput 89:35–49CrossRef
Zurück zum Zitat Arimatsu K, Mori H (2020) Evaluation of machine learning techniques for hand pose estimation on handheld device with proximity sensor. Association for Computing Machinery, New York, S 1–13 Arimatsu K, Mori H (2020) Evaluation of machine learning techniques for hand pose estimation on handheld device with proximity sensor. Association for Computing Machinery, New York, S 1–13
Zurück zum Zitat Chrysos GG, Antonakos E, Snape P, Asthana A, Zafeiriou S (2018) A comprehensive performance evaluation of deformable face tracking “in-the-wild”. Int J Comput Vis 126(2):198–232MathSciNetCrossRef Chrysos GG, Antonakos E, Snape P, Asthana A, Zafeiriou S (2018) A comprehensive performance evaluation of deformable face tracking “in-the-wild”. Int J Comput Vis 126(2):198–232MathSciNetCrossRef
Zurück zum Zitat Clay V, König P, Koenig S (2019) Eye tracking in virtual reality. J Eye Movement Res 12(1):1–18CrossRef Clay V, König P, Koenig S (2019) Eye tracking in virtual reality. J Eye Movement Res 12(1):1–18CrossRef
Zurück zum Zitat Cudeiro D, Bolkart T, Laidlaw C, Ranjan A, Black MJ (2019) Capture, learning, and synthesis of 3d speaking styles. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, S 10101–10111 Cudeiro D, Bolkart T, Laidlaw C, Ranjan A, Black MJ (2019) Capture, learning, and synthesis of 3d speaking styles. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, S 10101–10111
Zurück zum Zitat Egger B, Smith WAP, Tewari A, Wuhrer S, Zollhoefer M, Beeler T, Bernard F, Bolkart T, Kortylewski A, Romdhani S, Theobalt C, Blanz V, Vetter T (2020) 3D morphable face models–past, present, and future. ACM Trans Graph 39(5):1–38CrossRef Egger B, Smith WAP, Tewari A, Wuhrer S, Zollhoefer M, Beeler T, Bernard F, Bolkart T, Kortylewski A, Romdhani S, Theobalt C, Blanz V, Vetter T (2020) 3D morphable face models–past, present, and future. ACM Trans Graph 39(5):1–38CrossRef
Zurück zum Zitat Jaramillo-Yánez A, Benalcázar ME, Mena-Maldonado E (2020) Real-time hand gesture recognition using surface electromyography and machine learning: a systematic literature review. Sensors 20(9):2467CrossRef Jaramillo-Yánez A, Benalcázar ME, Mena-Maldonado E (2020) Real-time hand gesture recognition using surface electromyography and machine learning: a systematic literature review. Sensors 20(9):2467CrossRef
Zurück zum Zitat Kim D, Hilliges O, Izadi S, Butler AD, Chen J, Oikonomidis I, Olivier P (2012) Digits: freehand 3d interactions anywhere using a wrist-worn gloveless sensor. In: Proceedings of the 25th Annual ACM Symposium on User Interface Software and Technology. Cambridge, S 167–176 Kim D, Hilliges O, Izadi S, Butler AD, Chen J, Oikonomidis I, Olivier P (2012) Digits: freehand 3d interactions anywhere using a wrist-worn gloveless sensor. In: Proceedings of the 25th Annual ACM Symposium on User Interface Software and Technology. Cambridge, S 167–176
Zurück zum Zitat Latoschik ME, Roth D, Gall D, Achenbach J, Waltemate T, Botsch M (2017) The effect of avatar realism in immersive social virtual realities. In: Proceedings of the 23rd ACM Symposium on Virtual Reality Software and Technology. Gothenburg, S 1–10 Latoschik ME, Roth D, Gall D, Achenbach J, Waltemate T, Botsch M (2017) The effect of avatar realism in immersive social virtual realities. In: Proceedings of the 23rd ACM Symposium on Virtual Reality Software and Technology. Gothenburg, S 1–10
Zurück zum Zitat Li H, Trutoiu L, Olszewski K, Wei L, Trutna T, Hsieh PL, Nicholls A, Ma C (2015) Facial performance sensing head-mounted display. ACM Trans Graph 34(4):1–9 Li H, Trutoiu L, Olszewski K, Wei L, Trutna T, Hsieh PL, Nicholls A, Ma C (2015) Facial performance sensing head-mounted display. ACM Trans Graph 34(4):1–9
Zurück zum Zitat Lou J, Wang Y, Nduka C, Hamedi M, Mavridou I, Wang F, Yu H (2020) Realistic facial expression reconstruction for VR HMD users. IEEE Trans Multimedia 22(3):730–743CrossRef Lou J, Wang Y, Nduka C, Hamedi M, Mavridou I, Wang F, Yu H (2020) Realistic facial expression reconstruction for VR HMD users. IEEE Trans Multimedia 22(3):730–743CrossRef
Zurück zum Zitat Lucero JC, Munhall KG (1999) A model of facial biomechanics for speech production. J Acoust Soc Am 106(5):2834–2842CrossRef Lucero JC, Munhall KG (1999) A model of facial biomechanics for speech production. J Acoust Soc Am 106(5):2834–2842CrossRef
Zurück zum Zitat Oudah M, Al-Naji A, Chahl J (2020) Hand gesture recognition based on computer vision: a review of techniques. J Imaging 6(8):73CrossRef Oudah M, Al-Naji A, Chahl J (2020) Hand gesture recognition based on computer vision: a review of techniques. J Imaging 6(8):73CrossRef
Zurück zum Zitat Purps CF, Janzer S, Wölfel M (2021) Reconstructing facial expressions of HMD users for avatars in VR. In: International Conference on ArtsIT, Interactivity and Game Creation. Springer, Cham, S 61–76 Purps CF, Janzer S, Wölfel M (2021) Reconstructing facial expressions of HMD users for avatars in VR. In: International Conference on ArtsIT, Interactivity and Game Creation. Springer, Cham, S 61–76
Zurück zum Zitat Richard A, Zollhöfer M, Wen Y, de la Torre F, Sheikh Y (2021) Meshtalk: 3D face animation from speech using cross-modality disentanglement. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). Montreal, S 1173–1182 Richard A, Zollhöfer M, Wen Y, de la Torre F, Sheikh Y (2021) Meshtalk: 3D face animation from speech using cross-modality disentanglement. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). Montreal, S 1173–1182
Zurück zum Zitat Rosenberg EL, Ekman P (2020) What the face reveals: basic and applied studies of spontaneous expression using the Facial Action Coding System (FACS). Oxford University Press, New York Rosenberg EL, Ekman P (2020) What the face reveals: basic and applied studies of spontaneous expression using the Facial Action Coding System (FACS). Oxford University Press, New York
Zurück zum Zitat Sharp T, Keskin C, Robertson D, Taylor J, Shotton J, Kim D, Rhemann C, Leichter I, Vinnikov A, Wei Y et al (2015) Accurate, robust, and flexible real-time hand tracking. In: Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. Seoul, S 3633–3642 Sharp T, Keskin C, Robertson D, Taylor J, Shotton J, Kim D, Rhemann C, Leichter I, Vinnikov A, Wei Y et al (2015) Accurate, robust, and flexible real-time hand tracking. In: Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. Seoul, S 3633–3642
Zurück zum Zitat Shotton J, Sharp T, Kipman A, Fitzgibbon A, Finocchio M, Blake A, Cook M, Moore R (2013) Real-time human pose recognition in parts from single depth images. Commun ACM 56(1):116–124CrossRef Shotton J, Sharp T, Kipman A, Fitzgibbon A, Finocchio M, Blake A, Cook M, Moore R (2013) Real-time human pose recognition in parts from single depth images. Commun ACM 56(1):116–124CrossRef
Zurück zum Zitat Taylor J, Bordeaux L, Cashman T, Corish B, Keskin C, Sharp T, Soto E, Sweeney D, Valentin J, Luff B, Topalian A, Wood E, Khamis S, Kohli P, Izadi S, Banks R, Fitzgibbon A, Shotton J (2016) Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences. ACM Trans Graph 35(4) Taylor J, Bordeaux L, Cashman T, Corish B, Keskin C, Sharp T, Soto E, Sweeney D, Valentin J, Luff B, Topalian A, Wood E, Khamis S, Kohli P, Izadi S, Banks R, Fitzgibbon A, Shotton J (2016) Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences. ACM Trans Graph 35(4)
Zurück zum Zitat Wang RI, Pelfrey B, Duchowski AT, House DH (2014) Online 3D gaze localization on stereoscopic displays. ACM Trans Appl Percept 11(1):1–21CrossRef Wang RI, Pelfrey B, Duchowski AT, House DH (2014) Online 3D gaze localization on stereoscopic displays. ACM Trans Appl Percept 11(1):1–21CrossRef
Zurück zum Zitat Wang Z, Wang D, Zhang Y, Liu J, Wen L, Xu W, Zhang Y (2019) A three-fingered force feedback glove using fiber-reinforced soft bending actuators. IEEE Trans Ind Electron 67(9):7681–7690CrossRef Wang Z, Wang D, Zhang Y, Liu J, Wen L, Xu W, Zhang Y (2019) A three-fingered force feedback glove using fiber-reinforced soft bending actuators. IEEE Trans Ind Electron 67(9):7681–7690CrossRef
Zurück zum Zitat Wei X, Zhu Z, Yin L, Ji Q (2004) A real time face tracking and animation system. In: 2004 Conference on Computer Vision and Pattern Recognition Workshop. IEEE, Washington, S 71–71 Wei X, Zhu Z, Yin L, Ji Q (2004) A real time face tracking and animation system. In: 2004 Conference on Computer Vision and Pattern Recognition Workshop. IEEE, Washington, S 71–71
Zurück zum Zitat Wölfel M, Hepperle D, Purps CF, Deuchler J, Hettmann W (2021) Entering a new dimension in virtual reality research: an overview of existing toolkits, their features and challenges. In: 2021 International Conference on Cyberworlds (CW). IEEE, Caen, S 180–187 Wölfel M, Hepperle D, Purps CF, Deuchler J, Hettmann W (2021) Entering a new dimension in virtual reality research: an overview of existing toolkits, their features and challenges. In: 2021 International Conference on Cyberworlds (CW). IEEE, Caen, S 180–187
Zurück zum Zitat Wölfel M, Purps CF, Percifull N (2022) Enabling embodied conversational agents to respond to nonverbal behavior of the communication partner. In: International Conference on Human-Computer Interaction. Springer, Berlin/Heidelberg, S 591–604 Wölfel M, Purps CF, Percifull N (2022) Enabling embodied conversational agents to respond to nonverbal behavior of the communication partner. In: International Conference on Human-Computer Interaction. Springer, Berlin/Heidelberg, S 591–604
Zurück zum Zitat Zollhöfer M, Thies J, Garrido P, Bradley D, Beeler T, Pérez P, Stamminger M, Nießner M, Theobalt C (2018) State of the art on monocular 3d face reconstruction, tracking, and applications. In: Computer Graphics Forum. Wiley Online Library 37:523–550 Zollhöfer M, Thies J, Garrido P, Bradley D, Beeler T, Pérez P, Stamminger M, Nießner M, Theobalt C (2018) State of the art on monocular 3d face reconstruction, tracking, and applications. In: Computer Graphics Forum. Wiley Online Library 37:523–550
Metadaten
Titel
Erfassung des Nutzers
verfasst von
Matthias Wölfel
Copyright-Jahr
2023
Verlag
Springer Berlin Heidelberg
DOI
https://doi.org/10.1007/978-3-662-66908-2_8