Semi-automatic labelling and tracking of targets for autonomous driving

Abstract

In the scope of the ATLASCAR2 project, this dissertation is based on the development (using ROS) of a driving assistance system that implements an interface to detect, track and label targets on the road. The detection and tracking are done using LIDAR sensor data and a camera. Firstly, an algorithm is implemented to be used in the camera based on the appearance of the target to be tracked. Next, a range based algorithm is developed using the data acquired from the sensors to follow objects in a tridimensional space. Finally, because it is possible to detect and track objects using the image and the lasers, the combination of the algorithms is done by projecting what is captured from the sensors in the camera image, being possible to obtain a more accurate and robust tracking. To evaluate the algorithm some datasets were used with the labelled data from the several detected and followed objects. To perform this work the sensors and the camera need to be properly calibrated. To do this, the calibration between the several devices was done using an application that, by passing a ball in front of the sensors, the position values of each sensor relatively to a given reference device are found. Within the calibration, this dissertation also includes an improvement of the ball detection algorithm in the image obtained by the camera.

No âmbito do projeto do ATLASCAR2, esta dissertação baseia-se no desenvolvimento (usando Robot Operating System (ROS)) de um sistema de assistência à condução que implementa uma interface para deteção, seguimento e anotação de alvos na estrada. A deteção e o seguimento são feitos a partir de dados de sensores Light Detection And Ranging (LIDAR) e de uma câmara. Numa primeira fase é implementado um algoritmo para ser usado na câmara baseado na aparência do alvo a ser seguido. Seguidamente, é desenvolvido um algoritmo baseado no alcance usando dados adquiridos nos sensores para seguir objetos num espaço tridimensional. Finalmente, como é possível detetar e seguir objetos usando a imagem e os lasers, a combinação dos algoritmos é feita projetando o que é capturado pelos sensores na imagem da câmara, sendo possível obter um seguimento mais preciso e robusto dos alvos na estrada. Para avaliar o algoritmo alguns ”datasets” foram usados com a anotação dos vários alvos detetados e seguidos. Para efetuar este trabalho é necessário que os sensores e a câmara estejam devidamente calibrados. Para este efeito, a calibração entre os vários dispositivos é feita através de uma aplicação que, ao passar uma bola em frente dos sensores, é possível descobrir os valores das posições de cada sensor relativamente a um dispositivo dado como referência. Ao nível da calibração, esta dissertação inclui também uma melhoria do algoritmo de deteção da bola na imagem obtida pela câmara.