Multisensor calibration and data fusion using LIDAR and vision

Abstract

Este trabalho expande um pacote de calibra çao extrínseca a sensores baseados em visão. Uma bola e usada como alvo de calibração para estimar a posição e orientação de vários sensores relativamente a um referencial comum. Primeiramente, e desenvolvido um algoritmo para deteção da bola na imagem, em seguida, são implementados e testados dois métodos para estimar a posição e orientação da câmara relativamente ao referencial de referência. Adicionalmente, uma interface gráfica e desenvolvida para o pacote de calibração. A interface permite a calibração de várias configurações de sensores, simplifica o processo de calibração e facilita a expansão do pacote a novos sensores. De forma a ilustrar o processo de expansão, o sensor Microsoft Kinect 3D-depth e integrado no pacote de calibração e respetiva interface. Por ultimo, utilizando a posição e orientaçao estimadas, os dados dos sensores são fundidos em um único referencial. Fusão sensorial e realizada no ATLASCAR 1, um veículo autónomo, e em testes laboratoriaisThe work presented in this thesis expands an existing extrinsic calibration package to vision-based sensors. A ball is used as a calibration target to estimate the pose of multiple sensors relative to a reference frame. First, an algorithm is developed to detect the ball in an image then, two methods are implemented and tested to estimate the camera pose relative to a reference frame. Additionally, a graphical user interface is developed for the extrinsic calibration package. The interface allows multiple sensor con gurations to be calibrated, greatly simpli es the calibration procedure and is easily expandable to new sensors. To illustrate the expansion process, Microsoft Kinect 3D-depth sensor is integrated in the calibration package and interface. Finally, from the estimated poses, sensor data fusion is achieved with ATLASCAR 1, an autonomous vehicle, and in indoors tests.