Perception using multi-tasked neural networks on ATLASCAR2

Abstract

Efficient perception is a fundamental requirement for ADAS and ADS, with implications for safety, accuracy, and speed. The choice between multitasked and single-tasked deep learning networks can significantly impact the performance of these systems and their ability to understand and respond to the complex driving environment. This dissertation explores the comparison between multi-tasked neural networks and multiple single-tasked networks. It investigates car perception, focusing on object detection and image segmentation, covering car detection, road segmentation, and lane marking. To make the comparisons possible and also to implement different kinds of models in the ATLASCAR2’s inference unit, a versatile software system designed to seamlessly run multiple deep-learning models with distinct tasks was developed for this dissertation. Single-tasked networks like YOLOv5, YOLOv7, and YOLOv8 were evaluated for object detection, while road segmentation was evaluated with Mask2Former, UPerNet, and SegFormer. Lane marking was analyzed using RESA, O2SFormer, and UFLDv2. The multi-tasked networks evaluated included YOLOP, YOLOPv2, and TiwnLiteNet. The dissertation findings indicate that combining multiple single-tasked models can lead to synchronization challenges and slower inference speeds. Multi-tasked networks outperform multiple single-tasked models in terms of efficiency, although their performance benefits are more pronounced when handling tasks that share a closer relationship.

A perceço eficaz é um requisito fundamental para sistemas avançados de assistência à condução e de condução autónoma, com implicações para a segurança, precisão e velocidade. A escolha entre redes de deep learning multi-tarefa e mono-tarefa pode afetar significativamente o desempenho destes sistemas e a sua capacidade de compreender e responder ao complexo ambiente de conduçãao. Esta dissertaçãao explora a comparação entre redes neurais multitarefa e múltiplas redes unitarefa. Investiga a perceção automóvel, centrando-se na deteção de objectos e na segmentação de imagens, abrangendo a deteção de carros, a segmentação de estradas e a marcação de faixas de rodagem. Para tornar as comparações possíveis e também para implementar diferentes tipos de modelos de deep learning na unidade de inferência do ATLASCAR2, foi desenvolvido um sistema de software versátil concebido para executar sem problemas vários modelos de deep learning com tarefas distintas. Redes de tarefa única como a YOLOv5, a YOLOv7 e a YOLOv8 foram avaliadas para a deteção de carros. A Mask2Former, UPerNet e a SegFormer foram avaliadas na segmentação de estradas. Já as redes RESA, O2SFormer e UFLDv2 foram avaliadas na marcação de faixas de rodagem. As redes multi-tarefa avaliadas incluíram a YOLOP, a YOLOPv2 e a TiwnLiteNet. Os resultados da dissertação indicam que a combinação de vários modelos de tarefa única pode levar a desafios de sincronização e a velocidades de inferência mais lentas. As redes multitarefa superam a utilização de vários modelos de tarefa única em simultâneo em termos de eficiência, embora os seus benefícios de desempenho sejam mais pronunciados quando lidam com tarefas mais relacionadas entre si.