Prototyyppi, nimeltään "Typealike", toimii tavallisen kannettavan tietokoneen verkkokameran kautta, jossa on yksinkertainen kiinnitetty peili. Ohjelma tunnistaa käyttäjän kädet näppäimistön vieressä tai lähellä ja kehottaa toimimaan eri käsien asentojen perusteella.
Käyttäjä voi esimerkiksi asettaa oikean kätensä peukalo ylöspäin näppäimistön viereen, ja ohjelma tunnistaa tämän signaaliksi äänenvoimakkuuden lisäämiseksi. Erilaisia eleitä ja erilaisia eleyhdistelmiä voidaan ohjelmoida suorittamaan monenlaisia toimintoja.
Ihmisen ja tietokoneen välisen vuorovaikutuksen alan innovaation tavoitteena on tehdä käyttökokemuksesta nopeampi ja sujuvampi ilman, että tarvitaan pikanäppäimiä tai työskentelyä hiiren ja ohjauslevyn kanssa.
"Se alkoi yksinkertaisesta ideasta uusista verkkokameran käyttötavoista", sanoi Nalin Chhibber, äskettäin maisterintutkinnon suorittanut Waterloon yliopiston Cheriton School of Computer Science. "Web-kamera on suunnattu kasvojasi, mutta suurin osa tietokoneella tapahtuvasta vuorovaikutuksesta tapahtuu käsien ympärillä. Joten ajattelimme, mitä voisimme tehdä, jos verkkokamera pystyisi poimimaan käsieleitä?"
Alkukäsitys johti pienen mekaanisen kiinnikkeen kehittämiseen, joka ohjaa verkkokameran alaspäin käsiä kohti. Tämän jälkeen tiimi loi ohjelmiston, joka pystyy ymmärtämään erilaisia käsieleitä vaihtelevissa olosuhteissa ja eri käyttäjille. Tiimi käytti koneoppimistekniikoita Typealike-ohjelman kouluttamiseen.
"Se on hermoverkko, joten sinun on näytettävä algoritmiesimerkkejä siitä, mitä yrität havaita", sanoi Fabrice Matulic, Preferred Networks Inc:n vanhempi tutkija ja entinen tutkijatohtorin tutkija Waterloosta. "Jotkut ihmiset tekevät eleitä hieman eri tavalla, ja kädet vaihtelevat kooltaan, joten sinun on kerättävä paljon dataa eri ihmisiltä eri valaistusolosuhteissa."
Tiimi tallensi käsieleiden tietokantaan kymmenien vapaaehtoisten tutkijoiden kanssa. He myös antoivat vapaaehtoisille testejä ja kyselyjä auttaakseen tiimiä ymmärtämään, kuinka ohjelmasta tulee mahdollisimman toimiva ja monipuolinen.
"Pyrimme aina tekemään asioita, joita ihmiset voivat helposti käyttää", sanoi Daniel Vogel, Waterloon tietojenkäsittelytieteen apulaisprofessori. "Ihmiset katsovat jotain Typealikea tai muuta uutta teknologiaa ihmisen ja tietokoneen vuorovaikutuksessa, ja he sanovat, että se on järkevää. Sitä me haluamme. Haluamme tehdä tekniikasta, joka on intuitiivista ja suoraviivaista, mutta joskus sen tekeminen vaatii paljon monimutkaista tutkimusta ja kehittyneitä ohjelmistoja."
Tutkijat sanovat, että Typealike-ohjelmalle on olemassa muita sovelluksia virtuaalitodellisuudessa, jossa se voisi poistaa kädessä pidettävien ohjaimien tarpeen.
