Zeigt der Apple Watch den Finger

×

Datenuhren wie die Apple Watch erfordern eine besondere Form der Interaktion. Die gelingt am besten mit dem Zeigen des Fingers. Forscher haben nun die einfachsten Möglichkeiten einer mit Hand- und Fingergesten gesteuerten Interaktion per Computerkamera berechnet.

Das Problem war vorhersehbar. Die kleine Apple-Watch ist für nichts für dicke Finger. Schon beim Smartphone gelingt die Kommunikation mit dem Computer nicht so effizient wie per Tastatur am Schreibtisch. Physisch kleine Geräte wie Datenuhren oder Datenbrillen haben per se Limitierungen mit taktiler Eingabe. Und überhaupt: „Nutzt irgendein Eingabegerät die unglaubliche Geschicklichkeit der menschlichen Hand wirklich aus?“, fragen sich Wissenschaftler vom Max-Planck-Instituts für Informatik in Saarbrücken und der Aalto Universität in Helsinki. Sie untersuchen und berechnen aus diesem Grund Möglichkeiten, den Computer per Gesten zu steuern. Künftig soll dann auch die effiziente Texteingabe mittels Handsignalen möglich sein.

Ein wichtiges Vorhaben. Denn mit der steten digitalen Durchdringung des tagtäglichen Lebens gewinnt die Mensch-Computer-Interaktion an Bedeutung. Seit einiger Zeit beschäftigt sich ein eigener Zweig innerhalb der Informatik mit diesen Schnittstellen, wobei auch Erkenntnisse aus Physiologie und Psychologie des Menschen einbezogen werden. Auch das ist ein wichtiger Aspekt. Denn „woraus besteht eigentlich eine Geste?“, fragt der Springer-Autor Rainer Dorau. In Kapitel „Komposition von Gesten“ (ab Seite 168) geht er dieser Frage nach. Auch wenn es trivial erscheint, eine bloße Bewegung kann nicht das einzige Kriterium sein. Vor allem wenn man in Betracht zieht, dass es mehr Gesten als Bewegungsarten gibt und nicht jede Handbewegung sogleich einer Geste entspricht.

Effiziente Mensch-Maschine-Interaktionen

Die Wissenschaftler untersuchen vor diesem Hintergrund die Möglichkeiten der effizienten Mensch-Maschine-Interaktion, die über die bisherigen Eingabemöglichkeiten hinausgehen. Dabei ist die Texteingabe ohne klassische Tastatur gleichermaßen erwünscht und schwierig. Dank der neuesten Entwicklungen im maschinellen Sehen können moderne Algorithmen jetzt auch Gesten von mehreren Fingern in einem Video erkennen. Die Forschergruppen der Professoren Antti Oulasvirta und Christian Theobalt verwenden dies als Grundlage, um ein Set von Gesten und Fingerstellungen zu entwickeln, mit denen man einen Computer steuern und sogar effizient Texte berührungslos eingeben kann. Damit entfällt die Notwendigkeit taktiler Eingabegeräte und auch deren Limitierungen.

Dazu entwickelten die Wissenschaftler ein Modell, das die Geschicklichkeit der menschlichen Hand ausnutzt und deren physiologischen Gegebenheiten einbezieht. Dazu Anna Feit von der Universität Aalto: „Dank unseres Modells konnten wir die Gesten in Richtung Leistung, Erlernbarkeit und anatomische Beschränkungen optimieren.“ Erste Probanden konnten durchschnittlich bis zu 22 Wörter je Minute schreiben, die besten von ihnen sogar 38. Das Modell der Forscher prognostiziert aber Steigerungen auf bis zu 55 Wörter pro Minute. Das Modell berechnet sogar präzise die Geschwindigkeit der Gebärdensprache und zeigt, dass diese für die Mensch-Maschine Kommunikation nicht optimal ist.

„Die nächste Aufgabe wird sein, beidhändige Gesten zu erfassen und auszuwerten“, beschreibt Srinath Sridhar vom MPI-INF das Kommende. „Zunächst aber brauchen wir bessere Methoden im maschinellen Sehen und der Gestenerkennung.“ Vielleicht gelingt dann auch die Intention, das System für Luftgitarren anzupassen.