Le prototype, appelé "Typealike", fonctionne à l'aide d'une webcam d'ordinateur portable ordinaire avec un simple miroir apposé. Le programme reconnaît les mains de l'utilisateur à côté ou à proximité du clavier et invite les opérations en fonction des différentes positions des mains.
Un utilisateur pourrait, par exemple, placer sa main droite avec le pouce pointant vers le haut à côté du clavier, et le programme reconnaîtrait cela comme un signal pour augmenter le volume. Différents gestes et différentes combinaisons de gestes peuvent être programmés pour effectuer un large éventail d'opérations.
L'innovation dans le domaine de l'interaction homme-machine vise à rendre l'expérience utilisateur plus rapide et plus fluide, avec moins de besoin de raccourcis clavier ou de travail avec une souris et un trackpad.
"Tout a commencé par une idée simple sur de nouvelles façons d'utiliser une webcam", a déclaré Nalin Chhibber, récemment diplômée d'une maîtrise de la Cheriton School of Computer Science de l'Université de Waterloo. "La webcam est pointée vers votre visage, mais la plupart des interactions qui se produisent sur un ordinateur se font autour de vos mains. Nous avons donc pensé, que pourrions-nous faire si la webcam pouvait capter les gestes de la main ?"
L'idée initiale a conduit au développement d'un petit accessoire mécanique qui redirige la webcam vers les mains. L'équipe a ensuite créé un logiciel capable de comprendre des gestes de la main distincts dans des conditions variables et pour différents utilisateurs. L'équipe a utilisé des techniques d'apprentissage automatique pour former le programme Typealike.
"C'est un réseau de neurones, vous devez donc montrer à l'algorithme des exemples de ce que vous essayez de détecter", a déclaré Fabrice Matulic, chercheur principal chez Preferred Networks Inc. et ancien chercheur postdoctoral à Waterloo. "Certaines personnes feront des gestes un peu différents, et les mains varient en taille, vous devez donc collecter beaucoup de données auprès de différentes personnes avec des conditions d'éclairage différentes."
L'équipe a enregistré une base de données de gestes de la main avec des dizaines de volontaires de recherche. Ils ont également demandé aux bénévoles de faire des tests et des sondages pour aider l'équipe à comprendre comment rendre le programme aussi fonctionnel et polyvalent que possible.
"Nous nous efforçons toujours de créer des choses que les gens peuvent facilement utiliser", a déclaré Daniel Vogel, professeur agrégé d'informatique à Waterloo. "Les gens regardent quelque chose comme Typealike, ou d'autres nouvelles technologies dans le domaine de l'interaction homme-ordinateur, et ils disent que cela a du sens. C'est ce que nous voulons. Nous voulons rendre la technologie intuitive et simple, mais parfois, cela prend beaucoup de recherches complexes et de logiciels sophistiqués."
Les chercheurs affirment qu'il existe d'autres applications pour le programme Typealike dans la réalité virtuelle où il pourrait éliminer le besoin de contrôleurs portables.
