Detection and classification of road and objects in panoramic images on board the ATLASCAR2 using Deep Learning

Abstract

The field of autonomous driving has been increasingly explored and the future of transport partly depends on the use of this type of vehicle. For an autonomous car to navigate on the public road, it must be able to detect everything around it, ensuring that the actions taken do not compromise the safety of any person. Within the Atlas project, this dissertation aims to create a model that allows the detection of road and objects in panoramic images, thus increasing the ATLASCAR2 field of view. In view of this need, a system was developed for the creation of panoramic images through images acquired by the cameras mounted on the car and, to make the detection of the road and other objects, deep learning was used to train the models in order to ensure great accuracy and detail in detection. This work presents the results obtained with the trained models, presenting a comparison between the use of different architectures and datasets. In addition, an evaluation of the capacity of these models was also performed in the city of Aveiro.

A área da condução autónoma tem sido cada vez mais explorada e o futuro dos transportes passa, em parte, pela utilização deste tipo de veículos. Para conseguir navegar na via pública, um carro autónomo deve ser capaz de detetar tudo o que o rodeia, garantindo que as ações tomadas não põem em causa a segurança de ninguém. No âmbito do projeto Atlas, esta dissertação prevê a criação de um modelo que permita a deteção de estrada e objetos em imagens panorâmicas, aumentando assim o campo de visão do ATLASCAR2. Tendo em vista esta necessidade, foi desenvolvido um sistema para a criação de imagens panorâmicas através de imagens adquiridas pelas câmaras montadas no carro, e para fazer a deteção da estrada e de outros objetos, recorreu-se a ”deep learning” para treinar os modelos, de forma a garantir grande precisão e detalhe na deteção. Neste trabalho são apresentados os resultados obtidos com os modelos treinados, apresentando uma comparação entre a utilização de diferentes arquiteturas e ”datasets”. Para além disso, também foi realizada uma avaliação da capacidade destes modelos na cidade de Aveiro.