El problema de reconstrucción 3D consiste en obtener el modelo 3D de una escena a partir de sus proyecciones en múltiples imágenes. En la literatura, este problema se ha tratado con la composición en otras cinco subtareas: la extracción de características, la búsqueda de correspondencias, la calibración de la cámara, la estimación de la pose y la triangulación. Estas subtareas se han estudiado como problemas aislados, de tal manera que el resultado de la reconstrucción 3D depende de qué tan bien se resuelve cada una de ellas. En este trabajo, estudiamos la solución simultánea de los subproblemas de reconstrucción 3D. Nuestro objetivo es explotar la información de subproblemas no contiguos suponiendo que la información utilizada para resolver una subtarea puede usarse para resolver otras subtareas. En el primer estudio, analizamos la auto calibración simultanea de la cámara, la estimación de la pose y la recuperación del modelo como un problema de optimización no lineal. Resolvemos los tres subproblemas utilizando como entrada las correspondencias de puntos en tres imágenes. Analizamos las condiciones mínimas necesarias para resolver simultáneamente los tres sub-problemas, propusimos un método para incluir restricciones de paralelismo y la ortogonalidad de líneas sobre el modelo. Logramos reconstruir modelos con conjuntos de datos sintéticos, pero también reales. En el segundo estudio, investigamos la extracción de características y la búsqueda de correspondencias de manera simultánea. Manejamos el problema compuesto a través del estudio Tipo de Orden, una característica invariable combinatoria del campo de geometría computacional. Mostramos la estabilidad del tipo de orden durante el proceso de generación de imágenes y como con el Tipo de Orden, es posible realizar una identificación automática de conjuntos de puntos en R2. Además, proponemos un método para clasificar los Tipos de Orden con respecto a su robustez al ruido y un método para identificar los tipos de orden que son adecuados para realizar la coincidencia de puntos. A partir de nuestro estudio, proponemos un nuevo tipo de marcadores fiduciales que nos sirven para realizar reconstrucción 3D y para realizar realidad aumentada. Los nuevos marcadores basados en el Tipo de Orden nos permiten resolver la extracción de características y la correspondencia de las mismas en distintas imágenes. La salida de este enfoque la usamos como entrada para aplicar nuestro otro enfoque donde ya obtenemos la reconstrucción 3D. Finalmente unimos los dos enfoques antes mencionados para resolver el problema completo de reconstrucción. La reconstrucción la realizamos usando los enfoques simultáneos, por lo que la reconstrucción se realiza en dos etapas. Primero la extracción y correspondencia de características de manera simultánea y finalmente en la segunda etapa, la solución simultánea a la auto calibración, estimación de poses y obtención del modelo. Con los resultados de esta tesis, contribuimos con un nuevo tipo de marcadores, un método nuevo y flexible para realizar la reconstrucción 3D y también con un nuevo enfoque para manejar la coincidencia de características, no solo para la reconstrucción 3D sino también para otras aplicaciones de Visión por Computadora.
Abstract
The 3D reconstruction problem consists in obtaining the 3D model of a scene from its projections in multiple images. In literature, the task has been treated as the composition of other sub-tasks, i.e., the feature extraction, feature matching, camera calibration, pose estimation, and triangulation. The 3D reconstruction sub-tasks are studied as isolated problems in such a manner that the result of the 3D reconstruction depends on how well the pipeline of tasks is solved. In this work, we study the simultaneous solution of the 3D reconstruction sub-problems. We aim to exploit the information of non-contiguous sub-problems by assuming that the information used to solve a sub-task can be used for solving other sub-tasks. In the first study, we study the simultaneous camera self-calibration, pose estimation and model retrieving as a non-linear optimization problem. We solve the three sub-problems using as input the point correspondences in three images. We analyzed the minimal necessary conditions to solve the problem, we proposed a method to include physical constraints for lines parallelism and orthogonality to solve the camera self-calibration, and we are able to reconstruct models with synthetic but also real datasets. In the second study, we researched the joined features extraction and the features matching of points on a plane. We handled the composed problem through the study of Order Type, a combinatorial invariant feature from the computational geometry field. We show the order type stability during the image generation process, and how with Order Type, it is possible to perform automatic identification of point sets in R2. Furthermore, we propose a method to rank the Order Types regarding robustness to noise and a method to identify those Order Types that are suitable to perform point matching. From our study, we propose a new kind of fiducial markers. These new markers allow us to solve the features extraction and matching through multiple images. The two problems are solved simultaneously, using the new markers based in order type to automatically solve the point matching, and using this result perform the camera self-calibration the poses estimation and the model retrieval on three images. Finally we joined the two proposed approaches to solve the complete 3D reconstruction problem. We perform the reconstruction in two stages. In the first, we perform the simultaneos features extraction and matching. In the second stage, we solve simultaneously the self-calibration, the pose estimation and the model retrieval. With the results of this thesis we contribute with a new kind of fiducial markers, a new and flexible method to perform the 3D reconstrucion, and also a new approach to handle the feature matching, not only for 3D reconstruction but also for other Computer Vision applications.
