Skip to main content

2018 | OriginalPaper | Buchkapitel

Biomimetic Perception Learning for Human Sensorimotor Control

verfasst von : Masaki Nakada, Honglin Chen, Demetri Terzopoulos

Erschienen in: Advances in Visual Computing

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

We present a simulation framework for biomimetic human perception and sensorimotor control. It features a biomechanically simulated, musculoskeletal human model actuated by numerous skeletal muscles, with two human-like eyes whose retinas have spatially nonuniform distributions of photoreceptors. Our prototype sensorimotor system for this model incorporates a set of 20 automatically-trained, deep neural networks (DNNs), half of which are neuromuscular DNN controllers comprising its motor subsystem, while the other half are devoted to visual perception. Within the sensory subsystem, which continuously operates on the retinal photoreceptor outputs, 2 DNNs drive eye and head movements, while 8 DNNs extract the sensory information needed to control the arms and legs. Exclusively by means of its egocentric, active visual perception, our biomechanical virtual human learns efficient, online visuomotor control of its eyes, head, and four limbs to perform tasks involving the foveation and visual pursuit of target objects coupled with visually-guided reaching actions to intercept the moving targets.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
2.
Zurück zum Zitat Lee, S.H., Sifakis, E., Terzopoulos, D.: Comprehensive biomechanical modeling and simulation of the upper body. ACM Trans. Graph. 28(4), 99:1–17 (2009)CrossRef Lee, S.H., Sifakis, E., Terzopoulos, D.: Comprehensive biomechanical modeling and simulation of the upper body. ACM Trans. Graph. 28(4), 99:1–17 (2009)CrossRef
3.
Zurück zum Zitat Lee, S.H., Terzopoulos, D.: Heads up! biomechanical modeling and neuromuscular control of the neck. ACM Trans. Graph. 23(212), 1188–1198 (2006)CrossRef Lee, S.H., Terzopoulos, D.: Heads up! biomechanical modeling and neuromuscular control of the neck. ACM Trans. Graph. 23(212), 1188–1198 (2006)CrossRef
4.
Zurück zum Zitat Nakada, M., Chen, H., Terzopoulos, D.: Deep learning of biomimetic visual perception for virtual humans. In: ACM Symposium on Applied Perception (SAP 18), pp. 20:1–8. Vancouver, BC, August 2018 Nakada, M., Chen, H., Terzopoulos, D.: Deep learning of biomimetic visual perception for virtual humans. In: ACM Symposium on Applied Perception (SAP 18), pp. 20:1–8. Vancouver, BC, August 2018
5.
Zurück zum Zitat Nakada, M., Zhou, T., Chen, H., Weiss, T., Terzopoulos, D.: Deep learning of biomimetic sensorimotor control for biomechanical human animation. ACM Trans. Graph. 37(4), 56:1–15 (2018). (in Proc. ACM SIGGRAPH 2018) Nakada, M., Zhou, T., Chen, H., Weiss, T., Terzopoulos, D.: Deep learning of biomimetic sensorimotor control for biomechanical human animation. ACM Trans. Graph. 37(4), 56:1–15 (2018). (in Proc. ACM SIGGRAPH 2018)
6.
Zurück zum Zitat Rabie, T.F., Terzopoulos, D.: Active perception in virtual humans. In: Proceedings of Vision Interface 2000, pp. 16–22. Montreal, Canada (2000) Rabie, T.F., Terzopoulos, D.: Active perception in virtual humans. In: Proceedings of Vision Interface 2000, pp. 16–22. Montreal, Canada (2000)
7.
Zurück zum Zitat Schwartz, E.L.: Spatial mapping in the primate sensory projection: analytic structure and relevance to perception. Biol. Cybern. 25(4), 181–194 (1977)CrossRef Schwartz, E.L.: Spatial mapping in the primate sensory projection: analytic structure and relevance to perception. Biol. Cybern. 25(4), 181–194 (1977)CrossRef
8.
Zurück zum Zitat Shirley, P., Morley, R.K.: Realistic Ray Tracing, 2nd edn. A. K. Peters Ltd, Natick (2003) Shirley, P., Morley, R.K.: Realistic Ray Tracing, 2nd edn. A. K. Peters Ltd, Natick (2003)
9.
Zurück zum Zitat Terzopoulos, D., Rabie, T.F.: Animat vision: active vision with artificial animals. In: Proceedings of International Conference on Computer Vision (ICCV), pp. 840–845. Cambridge, MA (1995) Terzopoulos, D., Rabie, T.F.: Animat vision: active vision with artificial animals. In: Proceedings of International Conference on Computer Vision (ICCV), pp. 840–845. Cambridge, MA (1995)
10.
Zurück zum Zitat Yeo, S.H., Lesmana, M., Neog, D.R., Pai, D.K.: Eyecatch: simulating visuomotor coordination for object interception. ACM Trans. Graph. (TOG) 31(4), 42 (2012)CrossRef Yeo, S.H., Lesmana, M., Neog, D.R., Pai, D.K.: Eyecatch: simulating visuomotor coordination for object interception. ACM Trans. Graph. (TOG) 31(4), 42 (2012)CrossRef
Metadaten
Titel
Biomimetic Perception Learning for Human Sensorimotor Control
verfasst von
Masaki Nakada
Honglin Chen
Demetri Terzopoulos
Copyright-Jahr
2018
DOI
https://doi.org/10.1007/978-3-030-03801-4_7