Departamento de Computación

La realidad aumentada es una área interdisciplinaria donde se crean aplicaciones que mezclan la realidad con elementos virtuales, y que buscan encontrar nuevas formas de interacción más intuitivas y sencillas para los usuarios. En esta tesis presentamos un sistema de realidad aumentada donde el usuario puede interactuar tanto con objetos rígidos como con objetos deformables simplemente utilizando sus manos. El sistema en su conjunto conlleva la detección del marcador que forma la referencia para insertar los objetos virtuales, la detección de las manos, la detección de colisiones, la creación de objetos virtuales y la definición de su comportamiento basado en física, y finaLeap Motionente la visualización. La posición de las manos se obtiene mediante el uso del dispositivo Leap Motion. Los objetos virtuales son dibujados encima de un marcador fiducial, que sirve como referencia del mundo real. La detección de colisiones y el comportamiento basado en física de los objetos es proporcionado por la biblioteca Bullet Physics. La visualización de los objetos virtuales se logra a través de una aplicación, donde se muestran imágenes de la escena real con la cámara Playstation Eye, la cual se ejecuta a una frecuencia de 60 Hz. Se realizaron algunas pruebas al sistema utilizando un cubo como el objeto rígido y una esfera formada por triángulos como el objeto deformable, con los cuales se probaron distintas formas para que el usuario pudiera manipularlos de manera intuitiva, con las cuales exponemos las ventajas, desventajas y limitaciones del sistema y de los elementos que lo componen. Ventajas como que el sistema es sencillo de montar y su uso es muy intuitivo gracias al uso del Leap Motion. Desventajas como que el sistema ofrece una perspectiva fija que limita la visión del usuario y el hecho que el usuario tenga que mantener su mirada en un monitor en lugar de en la escena real. Por último, limitaciones del sistema como que solo se modelan la punta de los dedos índice y pulgar de la mano derecha y el tamaño de la escena está limitado por el rango de visión del Leap Motion y de la cámara.

Abstract

Augmented reality is an interdisciplinary area where the applications are developed by mixing reality with virtual elements. This applications are always looking for new easy and intuitive ways for user interaction. We present an augmented reality system in which the user can interact in real time with solid and deformable objects. The system have to resolve several tasks in real time: marker detection, hands detection, collision detection, virtual object creation and the object’s behavior based in physics, and finally the object visualization. The fingers positions are tracked by the Leap Motion device. The virtual objects are draw with respect to a fiducial marker. The collision detection and the object’s behavior based in physics are given by the Bullet Physics library. The object visualization is achieved through a PC application, showing us video standard taking from the Playstation Eye camera, that run at 60 Hz. We proved several ways to interact with objects using a cube as rigid object and a sphere of triangles as deformable object, then we present the system’s advantages, disadvantages and limitation. Advantages such as the system is simple to assemble and intuitive to use. Disadvantages such as the user has a limit vision by the fix camera and the fact that the user have to watch the monitor instead of the real scene. Finally, some system’s limitations such as the user can use only two fingers of the right hand and not the whole hand and the size of the scene limited by the range of Leap Motion and the camera.