NEKO: Un tabletop basada en Kinect para manipulación de objetos virtuales 2D y 3D



NEKO: Un tabletop basada en Kinect para manipulación de objetos virtuales 2D y 3D

Paul Casillas Alcalá
 

Texto completo de la Tesis     

 



Resumen

 

Desde que el hombre creó las primeras máquinas, las interfaces hombre-máquina han tomado gran importancia, debido a que una interfaz de usuario bien diseñada puede facilitar signi cativamente el control de sistemas complejos. A pesar del uso habitual y extendido del teclado y el raton por la mayora de los usuarios de computadoras, no siempre son las herramientas mas adecuadas para interactuar con todas las aplicaciones. Gracias a los recientes avances en la tecnología de sensores, visión por computadora y procesamiento de señales, hoy existen mejores herramientas para la creación de interfaces de usuario donde el control de las aplicaciones se realiza a traves de varios sentidos del usuario. Esta tesis presenta el diseño de NEKO (del inglés Natural Environment for Kinect-based Object interaction) un prototipo de tabletop que permite el despliegue y manipulación natural de un entorno virtual acorde a la percepción del usuario. El primordial objetivo en la construcción de NEKO fue crear un espacio interactivo que permitiera manipular objetos virtuales 2D y 3D a través de las manos, de una forma semejante a como se hará sobre una mesa convencional. En particular se buscó evitar las barreras que imponen los dispositivos de entrada y salida convencionales (como el teclado y el ratón). Para cumplir dicha meta se diseñó un prototipo de tabletop, con componentes de hardware comercial de bajo costo, que facilitan al usuario interactuar sin la necesidad de dispositivos de control arti cial. Asimismo se desarrolló una arquitectura de software capaz de identi car patrones relevantes de las manos y rostro de los usuarios con un tiempo de respuesta corto.

 

Abstract

Since the time man created the rst machines, human-machine interfaces have been very important, as a well-designed user interface may signi cantly simplify the control of complex systems. Despite the common and widespread use of the keyboard and mouse by most computer users today, these devices are not the most appropriate tools to interact with software applications. Thanks to recent advances on sensor technologies, computer vision algorithms, and signal processing, there are now better tools to create user interfaces whose interaction can be made more natural and through various senses of the users. This thesis presents the desings of NEKO (Natural Environment for Kinect-based Object interaction), a tabletop prototype that allows a virtual environment to be displayed and manipulated according to the user's perception. The primary objective in building NEKO was to create an interactive space that allows users to manipulate 2D and 3D virtual objects through their hands, as is similarly done on a conventional table. Particularly, we wanted to avoid the barriers imposed by convetional input/output devices (such as keyboard and mouse). To meet this goal we designed an ad-hoc structure composed of ordinary components and low cost comercial hardware. Furthermore we develop a software architecture able to identify relevant patterns from the face and hands of the user in a short reponse time.