Прототипът, наречен "Typealike", работи чрез обикновена уеб камера за лаптоп с просто прикрепено огледало. Програмата разпознава ръцете на потребителя до или близо до клавиатурата и подсказва операции въз основа на различни позиции на ръцете.
Потребителят може например да постави дясната си ръка с палец, сочещ нагоре, до клавиатурата и програмата ще разпознае това като сигнал за увеличаване на звука. Различни жестове и различни комбинации от жестове могат да бъдат програмирани за извършване на широк набор от операции.
Иновацията в областта на взаимодействието човек-компютър има за цел да направи потребителското изживяване по-бързо и гладко, с по-малко нужда от клавишни комбинации или работа с мишка и тракпад.
„Започна с проста идея за нови начини за използване на уеб камера“, каза Налин Чибър, наскоро завършил магистърска степен от Училището по компютърни науки Черитън към Университета на Ватерло. „Уеб камерата е насочена към лицето ви, но най-голямото взаимодействие, което се случва на компютъра, е около ръцете ви. Затова си помислихме какво бихме могли да направим, ако уеб камерата можеше да улавя жестове с ръце?“
Първоначалното прозрение доведе до разработването на малка механична приставка, която пренасочва уеб камерата надолу към ръцете. След това екипът създаде софтуерна програма, способна да разбира различни жестове с ръце при различни условия и за различни потребители. Екипът използва техники за машинно обучение, за да обучи програмата Typealike.
„Това е невронна мрежа, така че трябва да покажете на алгоритъма примери за това, което се опитвате да откриете“, каза Фабрис Матулик, старши изследовател в Preferred Networks Inc. и бивш постдокторантски изследовател във Waterloo. „Някои хора ще правят жестове малко по-различно и ръцете се различават по размер, така че трябва да съберете много данни от различни хора с различни условия на осветление.“
Екипът записа база данни с жестове с ръце с десетки изследователи доброволци. Те също накараха доброволците да направят тестове и проучвания, за да помогнат на екипа да разбере как да направи програмата възможно най-функционална и гъвкава.
„Винаги се стремим да правим неща, които хората могат лесно да използват“, каза Даниел Фогел, доцент по компютърни науки във Ватерло. „Хората гледат на нещо като Typealike или друга нова технология в областта на взаимодействието човек-компютър и казват, че просто има смисъл. Това е, което искаме. Искаме да направим технология, която е интуитивна и ясна, но понякога за да направим това, много сложни изследвания и сложен софтуер."
Изследователите казват, че има допълнителни приложения за програмата Typealike във виртуалната реалност, където тя може да елиминира необходимостта от ръчни контролери.
