nach oben

Erschienen in:

2019 | OriginalPaper | Buchkapitel

Gesture Recognition by Leap Motion Controller and LSTM Networks for CAD-oriented Interfaces

verfasst von : Lisa Mazzini, Annalisa Franco, Davide Maltoni

Erschienen in: Image Analysis and Processing – ICIAP 2019

Verlag: Springer International Publishing

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config

KI-gestützte Suche

Aus

Abstract

This paper presents a gesture recognition approach for CAD interfaces where the Leap Motion Controller is used for its high precision in modelling user hands. A simple, compact and effective hand representation is proposed to encode trajectory and pose across time. Recognition is based on Recurrent Neural Networks, particularly suited for processing data sequences. An effective data augmentation technique is also described to increase the size of the training set. Experiments conducted on a novel dataset of gesture performed by 30 volunteers show the effectiveness of the proposed technique; the dataset will be made available to the community for future studies.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 340 Zeitschriften

aus folgenden Fachgebieten:

Bauwesen + Immobilien
Business IT + Informatik
Finance + Banking
Management + Führung
Marketing + Vertrieb
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Vorheriges Kapitel Active Two Phase Collaborative Representation Classifier for Image Categorization

Nächstes Kapitel A Decision Tree for Automatic Diagnosis of Parkinson’s Disease from Offline Drawing Samples: Experiments and Findings

Avola, D., Bernardi, M., Cinque, L., Foresti, G.L., Massaroni, C.: Exploiting recurrent neural networks and leap motion controller for the recognition of sign language and semaphoric hand gestures. IEEE Trans. Multimedia 21(1), 234–245 (2019). https://doi.org/10.1109/TMM.2018.2856094CrossRef

Bachmann, D., Weichert, F., Rinkenauer, G.: Review of three-dimensional human-computer interaction with focus on the leap motion controller. 18(7), 2194 (2018). https://doi.org/10.3390/s18072194CrossRef

Chaudhary, A., Raheja, J.L., Das, K., Raheja, S.: A survey on hand gesture recognition in context of soft computing. In: Meghanathan, N., Kaushik, B.K., Nagamalai, D. (eds.) CCSIT 2011. CCIS, vol. 133, pp. 46–55. Springer, Heidelberg (2011). https://doi.org/10.1007/978-3-642-17881-8_5CrossRef

Cheng, H., Yang, L., Liu, Z.: Survey on 3D hand gesture recognition. IEEE Trans. Circuits Syst. Video Technol. 26(9), 1659–1673 (2016). https://doi.org/10.1109/TCSVT.2015.2469551CrossRef

Cho, K., et al.: Learning phrase representations using RNN encoder-decoder for statistical machine translation. arXiv preprint arXiv:1406.1078 (2014)

Chung, J., Gulcehre, C., Cho, K., Bengio, Y.: Empirical evaluation of gated recurrent neural networks on sequence modeling. arXiv preprint arXiv:1412.3555 (2014)

Cohen, M.W., Frid, A., Malin, M., Ladijenski, V.: Generating 3D cad art from human gestures using kinect depth sensor. Comput.-Aided Des. Appl. 12(5), 608–616 (2015). https://doi.org/10.1080/16864360.2015.1014740CrossRef

Dave, D., Chowriappa, A., Kesavadas, T.: Gesture interface for 3D cad modeling using kinect. Comput.-Aided Des. Appl. 10(4), 663–669 (2013). https://doi.org/10.3722/cadaps.2013.663-669. https://www.tandfonline.com/doi/abs/10.3722/cadaps.2013.663-669CrossRef

Hochreiter, S., Schmidhuber, J.: Long short-term memory. Neural Comput. 9(8), 1735–1780 (1997)CrossRef

10.

Kazmi, I.K., You, L., Zhang, J.J.: A survey of sketch based modeling systems. In: 2014 11th International Conference on Computer Graphics, Imaging and Visualization, pp. 27–36, August 2014. https://doi.org/10.1109/CGiV.2014.27

11.

Kingma, D.P., Ba, J.: Adam: a method for stochastic optimization. arXiv preprint arXiv:1412.6980 (2014)

12.

Microsoft: Kinect for windows. https://developer.microsoft.com/en-us/windows/kinect

13.

Leap Motion: Leap motion controller. https://developer.leapmotion.com/get-started/

14.

Pareek, S., Sharma, V.: Development of cad interface using leap motion (2014)

15.

Shabnam, S.: Real time hand gesture recognition system: a review (2015)

16.

Shiratuddin, M.F., Wong, K.W.: Non-contact multi-hand gestures interaction techniques for architectural design in a virtual environment. In: ICIMU 2011: Proceedings of the 5th International Conference on Information Technology Multimedia, pp. 1–6, November 2011. https://doi.org/10.1109/ICIMU.2011.6122761

17.

Weichert, F., Bachmann, D., Rudak, B., Fisseler, D.: Analysis of the accuracy and robustness of the leap motion controller. Sensors 13(5), 6380–6393 (2013)CrossRef

18.

Zhang, Z.: Microsoft kinect sensor and its effect. IEEE Multimedia 19(2), 4–10 (2012)CrossRef

19.

Zheng, J.M., Chan, K.W., Gibson, I.: A VR-based CAD system. In: Mo, J.P.T., Nemes, L. (eds.) Global Engineering, Manufacturing and Enterprise Networks. ITIFIP, vol. 63, pp. 264–274. Springer, Boston, MA (2001). https://doi.org/10.1007/978-0-387-35412-5_31CrossRef

Titel: Gesture Recognition by Leap Motion Controller and LSTM Networks for CAD-oriented Interfaces
verfasst von: Lisa Mazzini
Annalisa Franco
Davide Maltoni
Verlag: Springer International Publishing
Buch: Image Analysis and Processing – ICIAP 2019
Print ISBN: 978-3-030-30641-0

Electronic ISBN: 978-3-030-30642-7

Copyright-Jahr: 2019
DOI: https://doi.org/10.1007/978-3-030-30642-7_17

Springer Professional

Abstract

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Springer Professional "Technik"

Springer Professional "Wirtschaft"

Premium Partner