ATLASCAR2 sensors calibration by global optimization

Abstract

In autonomous vehicles, it is often necessary to install a large number of sensors on board. Thus, the extrinsic calibration of these multi-sensory systems is a problem of high relevance for the development algorithms of autonomous driving or of assistance to the driving. This work proposes a tool to automatically calibrate simultaneously multiple cameras. In the process, aruco markers are used, which allows establishing a graph from which the geometric transformations between the various cameras and a global reference are extracted. Initially, markers are detected in the images using an OpenCV tool. Subsequently, the graph is established where the nodes are cameras or markers and the edges are the transformations between them. Then an initial estimate of the extrinsic parameters of all cameras is calculated based on the detections of the markers and the paths obtained from the graph. In the end, an optimization of the parameters is done, where the reprojection error is minimized. In order to demonstrate the process, several datasets were created in order to validate the obtained results.

Em veículos autónomos é frequente a necessidade de instalar um grande número de sensores a bordo. Assim, a calibração extrínseca destes sistemas multi-sensoriais é um problema de grande relevância para o desenvolvimento de algoritmos de condução autónoma ou de apoio á condução. Este trabalho propõe um mecanismo capaz de fazer uma calibração automática em simultaâneo de várias câmaras. No processo são usados marcadores aruco, o que permite estabelecer um grafo de onde se extraem as transformações geométricas entre as várias câmaras e um referencial global. Inicialmente, os marcadores são detetados nas imagens usando uma ferramenta do OpenCV. Posteriormente é construido o grafo em que os nós são câmaras ou marcadores, e as ligações entre nós são transformações geométricas em pares câmara aruco. Em seguida é calculada uma estimativa inicial dos parâmetros extrínsecos de todas as câmaras, baseada nas deteções dos marcadores e nos caminhos obtidos do grafo. No fim, é feita uma otimização dos parâmetros, onde é minimizado o erro de reprojeção. Para demonstrar o processo foram criados vários "datasets", de modo a validar os resultados obtidos.