El prototipo, llamado "Typealike", funciona a través de la cámara web de una computadora portátil normal con un espejo adjunto simple. El programa reconoce las manos del usuario al lado o cerca del teclado y solicita operaciones basadas en diferentes posiciones de las manos.
Un usuario podría, por ejemplo, colocar su mano derecha con el pulgar hacia arriba junto al teclado y el programa reconocería esto como una señal para aumentar el volumen. Se pueden programar diferentes gestos y diferentes combinaciones de gestos para realizar una amplia gama de operaciones.
La innovación en el campo de la interacción humano-computadora tiene como objetivo hacer que la experiencia del usuario sea más rápida y fluida, con menos necesidad de atajos de teclado o trabajar con un mouse y un trackpad.
"Comenzó con una idea simple sobre nuevas formas de usar una cámara web", dijo Nalin Chhibber, recién graduada de maestría de la Escuela de Ciencias Informáticas Cheriton de la Universidad de Waterloo. "La cámara web apunta a tu cara, pero la mayor parte de la interacción que ocurre en una computadora está alrededor de tus manos. Así que pensamos, ¿qué podríamos hacer si la cámara web pudiera captar gestos con las manos?".
La idea inicial condujo al desarrollo de un pequeño accesorio mecánico que redirige la cámara web hacia abajo, hacia las manos. Luego, el equipo creó un programa de software capaz de comprender distintos gestos de la mano en condiciones variables y para diferentes usuarios. El equipo utilizó técnicas de aprendizaje automático para entrenar el programa Typealike.
"Es una red neuronal, por lo que debe mostrar ejemplos de algoritmos de lo que está tratando de detectar", dijo Fabrice Matulic, investigador principal de Preferred Networks Inc. y exinvestigador posdoctoral en Waterloo. "Algunas personas harán gestos un poco diferentes, y las manos varían en tamaño, por lo que debe recopilar una gran cantidad de datos de diferentes personas con diferentes condiciones de iluminación".
El equipo registró una base de datos de gestos con las manos con docenas de voluntarios de investigación. También hicieron que los voluntarios hicieran pruebas y encuestas para ayudar al equipo a comprender cómo hacer que el programa fuera lo más funcional y versátil posible.
"Siempre nos proponemos crear cosas que la gente pueda usar fácilmente", dijo Daniel Vogel, profesor asociado de informática en Waterloo. "La gente mira algo como Typealike, u otra nueva tecnología en el campo de la interacción humano-computadora, y dice que simplemente tiene sentido. Eso es lo que queremos. Queremos hacer una tecnología que sea intuitiva y directa, pero a veces hacerlo requiere mucha investigación compleja y software sofisticado".
Los investigadores dicen que hay más aplicaciones para el programa Typealike en realidad virtual donde podría eliminar la necesidad de controladores portátiles.
