Reconstrução tridimensional de ambientes reais usando dados laser e de intensidade

Abstract

O objectivo do trabalho apresentado nesta tese é a criação de modelos tridimensionais completos e de alta resolução de ambientes reais (informação geométrica e de textura) a partir de imagens passivas de intensidade e de sensores de distância activos. A maior parte dos sistemas de reconstrução 3D são baseados em sensores laser de distância ou em câmaras fotográficas, mas muito pouco trabalho tem tentado combinar estes dois tipos de sensores. A extracção de profundidade a partir de imagens de intensidade é complicada. Por outro lado, as fotografias fornecem informação adicional sobre os ambientes que pode ser usada durante o processo de modelação, em particular para definir, de uma forma precisa, as fronteiras das superfícies. Isto torna os sensores activos e passivos complementares em varios modos e é a ideia de base que motivou o trabalho apresentado nesta tese. Na primeira parte da tese, concentramo-nos no registro entre dados oriundos de sensores activos de distância e de câmaras digitais passivas e no desenvolvimento de ferramentas para tornar este passo mais fácil, independente do utilizador e mais preciso. No fim, com esta técnica, obtém-se um mapa de textura para os modelos baseado em várias fotografias digitais. O modelo 3D assim obtido é realizado baseado nos dados de distância para a geometria e nas fotografias digitais para a textura. Com estes modelos, obtémse uma qualidade fotográfica: uma espécie de fotografia de alta resolução em 3D dum ambiente real. Na segunda parte da tese, vai-se mais longe na combinação dos dados. As fotografias digitais são usadas como uma fonte adicional de informação tridimensional que pode ser valiosa para definir com precisão as fronteiras das superfícies (onde a informação de distância é menos fiável) ou então preencher falhas nos dados ou aumentar a densidade de pontos 3D em áreas de interesse.

The objective of the work presented in this thesis is to generate complete, highresolution three-dimensional models of real world scenes (3D geometric and texture information) from passive intensity images and active range sensors. Most 3D reconstruction systems are based either in range finders or in digital cameras but little work tries to combine these two sensors. Depth extraction from intensity images is complex. On the other hand digital photographs provide additional information about the scenes that can be used to help the modelling process, in particular to define accurate surface boundary conditions. This makes active and passive sensors complementary in many ways and is the base idea that motivates the work in this thesis. In the first part of the thesis, we concentrate in the registration between data coming from active range sensors and passive digital cameras and the development of tools to make this step easier, more user-independent and more precise. In the end, with this technique, a texture map for the models is computed based on several digital photographs. This will lead to 3D models where 3D geometry is extracted from range data, whereas texture information comes from digital photographs. With these models, photo realistic quality is achieved: a kind of high-resolution 3D photograph of a real scene. In the second part of the thesis, we go further in the combination between the datasets. The digital photographs are used as an additional source of threedimensional information that can be valuable to define accurate surface boundary conditions (where range data is less reliable) or even to fill holes in the data or increase 3D point density in areas of interest.