Departamento de Computación

Para muchas personas que cuentan con alguna discapacidad, que les impide comunicarse de manera oral con los demás, el lenguaje de señas es la principal herramienta de comunicación. Es por esta razón que en el presente trabajo se propone realizar el reconocimiento de gestos del lenguaje de señas mexicano. Hace un par de años se desarrolló un sensor llamado "leap motion" que permite hacer el rastreo tridimensional de la mano completa, dando información específica de puntos relevantes tales como las falanges, puntas de los dedos, tamaño de los dedos, centro de la palma, orientación con respecto a los ejes del sensor, velocidad, etc. Se pretende utilizar "leap motion" como dispositivo de entrada de datos, ya que provee información detallada relevante para llevar a cabo el reconocimiento de los gestos. También se han utilizado diversos métodos para hacer el reconocimiento de los gestos de los lenguajes de señas tales como modelos ocultos de Markov, máquinas de soporte vectorial, redes neuronales artificiales, etc. Debido a la eficacia en la implementación de las redes neuronales en otro tipo de proyectos de clasificación, se propone utilizar una red neuronal como método de clasificación para realizar el reconocimiento de gestos. En el presente trabajo se propone una herramienta de software capaz de realizar el reconocimiento de gestos estáticos del lenguaje de señas mexicano, mediante la implementación de una red neuronal y la utilización del sensor "leap motion" como dispositivo de entrada de datos.

Abstract

For many people who have a disability, which prevents them from communicating verbally with others, the sign language is the main communication tool. For this reason, in the present work is proposed to implement a mechanism for hand gesture recognition of mexican sign language. A couple of years ago, a sensor called leap motion was developed, it allows three-dimensional tracking of the entire hand, giving specific information on relevant points such as phalanx, fingertips, direction, center of the palm, orientation with respect to the axes of the sensor, speed, etc. It is intended to use leap motion as a data input device, as it provides relevant detailed information to perform gesture recognition. Several methods have also been used to recognize hand gestures of sign languages such as hidden Markov models, support vector machines, artificial neural networks, and so on. Due to the efficiency in the implementation of neural networks in other types of classification projects, it is proposed to use a neural network as a method of classification to perform the recognition of the gestures. In the present work, a software tool capable of performing the recognition of static gestures of the mexican sign language is proposed, through the implementation of a neural network and the use of the leap motion sensor as a data input device.