Please use this identifier to cite or link to this item: http://hdl.handle.net/10773/40820
Title: Dataset synthesis from 3D digital models for the training of deep learning networks
Other Titles: Síntese de dados para treino de deep learning a partir de modelos digitais tridimensionais
Author: Cardoso, André Filipe Correia
Advisor: Oliveira, Miguel Armando Riem de
Dias, Paulo Miguel de Jesus
Keywords: 3D Vision
Camera localization
Data-driven simulation
Augmented simulation
Deep learning
Simulated 3D models
Defense Date: 27-Jun-2023
Abstract: The advancements in computational capabilities, and real-time image processing, enable crucial tasks such as image-based localization. These tasks play a vital role in carrying out tasks like autonomous driving and robot positioning within complex structures. However, the collection of real-world data presents significant challenges, often hindered by time constraints and high costs. Consequently, this scarcity of data adversely affects the performance of end-to-end localization approaches compared to traditional methods. To address this limitation in deep learning methodologies, the generation of labelled data using simulators equipped with data-driven 3D meshes has emerged as a practical alternative. This approach allows for the creation of extensive datasets in a shorter timeframe and at a lower cost compared to direct data acquisition from the environment. Presently, state-of-the-art techniques often rely on data augmentation to enrich the datasets, incorporating additional images, applying filters, or implementing transformations directly to the images. In contrast, this work introduces a novel approach that avoids the reliance on data augmentation and instead proposes the integration of synthesized objects and variations in lighting directly into the scene. This work aims to extend the functionalities of Synfeal [1] by incorporating objects and lighting variations. This approach produces more realistic datasets by leveraging the capabilities of the existing simulator, Synfeal. By implementing dynamic environments with moving objects and accurately replicating real-world lighting conditions, we have achieved superior localization results when compared to current state-of-the-art methodologies that heavily rely on data augmentation.
Avanços nas capacidades computacionais e processamento de imagens em tempo real possibilita tarefas cruciais como a localização baseada em imagens. Estas tarefas desempenham um papel vital na concretização de desafios como a condução autónoma e o posicionamento de robôs em estruturas complexas. No entanto, a recolha de dados do mundo real apresenta desafios significativos, muitas vezes prejudicada por restrições de tempo e custos elevados. Consequentemente, esta escassez de dados afeta adversamente o desempenho de abordagens de localização end-to-end em comparação com métodos tradicionais. Para enfrentar esta limitação em metodologias deep-learning, a geração de dados etiquetados usando simuladores equipados com malhas 3D orientadas por dados reais emergiu como uma alternativa prática. Esta abordagem permite a criação de conjuntos de dados extensivos num período de tempo mais curto e a um custo mais baixo em comparação com a aquisição direta de dados do ambiente. Atualmente, as técnicas end-to-end dependem de data augmentation para enriquecer os conjuntos de dados, incorporando imagens adicionais, aplicando filtros ou implementando transformações diretamente nas imagens. Em contraste, este trabalho apresenta uma abordagem inovadora que evita a dependência de data augmentation e, em vez disso, propõe a integração de objetos sintetizados e variações na iluminação diretamente na simulação. Este trabalho tem como objetivo acrescentar funcionalidades ao Synfeal [1] incorporando variações de objetos e iluminação. Esta abordagem produz um conjunto de dados mais realístico, aproveitando as capacidades do simulador existente, o Synfeal. Ao implementar ambientes dinâmicos com objetos em movimento e replicar com precisão as condições de iluminação do mundo real, obtivemos resultados superiores em comparação com as metodologias end-to-end atuais que dependem fortemente de data augmentation.
URI: http://hdl.handle.net/10773/40820
Appears in Collections:UA - Dissertações de mestrado
DEM - Dissertações de mestrado

Files in This Item:
File Description SizeFormat 
Documento_André_Cardoso.pdf1.03 MBAdobe PDFView/Open


FacebookTwitterLinkedIn
Formato BibTex MendeleyEndnote Degois 

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.