3D-based color correction for multi-image texture mapping applications

Abstract

Texture mapping of 3D models using multiple images often results in textured meshes with unappealing visual artifacts known as texture seams. These artifacts can be more or less visible, depending on the color similarity between the used images. The main goal of this work is to produce textured meshes free of texture seams through a process of color correcting all images of the scene. To accomplish this goal, this dissertation proposes two contributions to the state-of-the-art of color correction: the application of 3D information from the scene, namely meshes and point clouds, to build a filtering procedure, in order to produce a more reliable spatial registration between images, thereby increasing the robustness of the color correction procedure; a pairwise-based methodology, capable of color correcting multiple images from the same scene. Moreover, this work presents a color correction algorithm integrated with a texture mapping pipeline that receives uncorrected images, a 3D mesh, and point clouds as inputs, producing a textured mesh and color corrected images as output. Results showcase the corrected images and the textured meshes for three case studies, including comparisons between five variants of the proposed approach with six other color correction approaches. These results show that all variants of the proposed approach outperform the other approaches, both in qualitative and quantitative evaluations. The proposed approach enhances the visual quality of textured meshes by eliminating most of the texture seams.

O mapeamento de textura de modelos 3D utilizando múltiplas imagens resulta frequentemente em malhas texturizadas com artefactos visuais pouco apelativos conhecidos como emendas de textura. Estes artefactos podem ser mais ou menos visíveis, dependendo da semelhança de cor entre as imagens utilizadas. O principal objectivo deste trabalho é produzir malhas texturizadas sem emendas de textura através de um processo de correção de cor de todas as imagens da cena. Para atingir este objectivo, esta dissertação propõe duas contribuições para o estado da arte de correção de cor: a aplicação de informação 3D da cena, nomeadamente malhas trianguladas e nuvens de pontos, para construir um procedimento de filtragem, a fim de produzir um registo espacial mais fiável entre imagens, aumentando assim a robustez do procedimento de correção de cor; uma metodologia baseada em pares, capaz de corrigir a cor de múltiplas imagens da mesma cena. Além disso, este trabalho apresenta um algoritmo de correção de cor integrado com um procedimento de mapeamento de textura que recebe imagens não corrigidas, uma malha 3D, e nuvens de pontos como entradas, produzindo uma malha texturizada e imagens corrigidas de cor como saída. Os resultados mostram as imagens corrigidas e as malhas texturizadas para três casos de estudo, incluindo comparações entre cinco variantes da abordagem proposta com seis outras abordagens de correção de cor. Estes resultados mostram que todas as variantes da abordagem proposta superam as outras abordagens, tanto em avaliações qualitativas como quantitativas. A abordagem proposta melhora a qualidade visual das malhas texturizadas, eliminando a maior parte das emendas de textura.