Detection and tracking of multiple targets aboard ATLASCAR2 with deep learning

Abstract

There are multiple tasks involved in the development of a fully autonomous driving system. One of the most important is the perception of the environment. To achieve this perception, multiple techniques are used. A special emphasis is given on computer vision namely for the tasks of road detection, object detection and tracking; this includes objects such as vehicles, traffic signs and pedestrians. This thesis utilizes recent Deep Learning techniques and algorithms to deploy object detection and tracking models to be utilized aboard ATLASCAR2, a self-driving car project developed by the Department of Mechanical Engineering in University of Aveiro. Different SOTA detectors such as Scaled-YOLOv4, YOLOR, YOLOv5 were trained on the BDD100K dataset and evaluated in terms of inference speed and accuracy. This was followed by an implementation and evaluation of multiple SOTA trackers such as NvDCF DeepSORT and BYTE utilizing DeepStream technology for optimized camera inference. The final solution presents a YOLOR-CSP architecture with 70.50% mAP@50 using a DeepSORT tracker with FP32 precision, achieving 17 FPS with a detection interval of zero and 33 FPS with an interval of one.

Há múltiplas tarefas envolvidas no desenvolvimento de um sistema de condução totalmente autónomo. Uma das principais é a perceção do ambiente. Para alcançar a percepção, são utilizadas múltiplas técnicas e é dada muita ênfase a visão computacional. Nomeadamente para as tarefas de detecção de estradas, detecção de objectos e seguimento de alvos (tais como veículos e pedestres). Esta tese utiliza as técnicas e algoritmos de Deep Learning para implementar modelos de detecção e seguimento de objectos para serem utilizados no ATLASCAR2, um projecto de um carro autónomo desenvolvido pelo Departamento de Engenharia Mecânica da Universidade de Aveiro. Diferentes detectores estado da arte como o Scaled-YOLOv4, YOLOR, YOLOv5 foram treinados no dataset BDD100K, mais tarde, foi feita uma análise, medindo a velocidade de inferência e precisão destes modelos. Seguiu-se uma implementação e avaliação de múltiplos algoritmos estado da arte para seguimento de alvos, tais como NvDCF DeepSORT e BYTE, utilizando a tecnologia DeepStream para optimizar a inferência da câmara. A solução final apresenta uma arquitetura YOLOR-CSP com 70,50% mAP@50 com um algoritmo de seguimento DeepSORT usando precisão FP32, atingindo 17 FPS com um intervalo de detecção de zero e 33 FPS com um intervalo de um.