Automated calibration of multiple LIDARs and cameras using a moving sphere

Abstract

Veículos autónomos têm atraído muito interesse nos últimos anos devido ao seu potencial impacto na sociedade, o que tem impulsionado esta área para estudos e desenvolvimentos constantes. Uma vez que os sistemas de perceção são extremamente importantes na navegação autónoma, a sua complexidade leva a um incremento do número de sensores a bordo (composto normalmente por sensores LIDAR, câmaras entre outros) juntamente com o aumento da sua diversidade, o que aumenta a preocupação sobre a calibração de sensores. Os métodos de calibração são normalmente manuais ou semi-automáticos e requerem intervenção de um utilizador. Poucos métodos automáticos estão disponíveis, e mesmo os que existem são normalmente baseados em processos complexos e dispositivos dispendiosos. Este trabalho apresenta um novo método de calibração automático usando uma bola como alvo para extrair correspondências entre sensores. O processo de calibração consiste em mover a bola permitindo a deteção do seu centro ao longo de sucessivas posições por todos os sensores a serem calibrados. Este estudo envolve a calibração de sensores LIDAR 2D e 3D, e câmaras. A segmentação em 2D usa um algoritmo baseado nas propriedades geométricas de um arco. Em 3D, a Point Cloud Library (PCL) sample consensus module é usado para identi car e localizar a bola. Finalmente, OpenCV é usado para calibrar o sistema stereo e computar a imagem de disparidade e a sua re-projeção 3D, resultando numa nuvem de pontos 3D. Durante o movimento da bola, é criada uma nuvem de pontos dos centros da bola para cada sensor. Finalmente, cada nuvem de pontos é alinhada com um sensor de referência. O resultado nal do processo é a transformação de corpo rígido de cada sensor com respeito ao sensor de referência. O método foi testado quer em laboratório quer com um veículo em tamanho real (AtlasCar). As relativas calibrações entre sensores assegura muito bons resultados que são avaliados pela consistência da performance da deteção por todos os sensores calibrados. Outra característica adicional nesta solução é a sua exibilidade ao permitir a calibração de diferentes LIDARs e câmaras.

Autonomous vehicles have attracted great interest in the past years due to their potential impact on society, which has been pushing this area into continuously study and development. Since the perception systems are extremely important in autonomous navigation, their complexity leads to an increment of the number of sensors on board (composed commonly by LIDAR, cameras and other sensors) along with the increase of their diversity, which raised concerns about sensor calibration. Calibration methods are usually manual or semi-automatic and require user intervention. Few automatic methods are available, and even the existent methods are normally based in complex processes and expensive devices. This work presents a new automatic calibration method using a ball as target to extract correspondences between sensors. The process of calibration consists of moving the ball allowing the detection of its center along successive positions by all the sensors to be calibrated. This study involves the calibration of 2D and 3D LIDAR sensors, and cameras. Segmentation in 2D uses an algorithm based on the geometric properties of an arc. In 3D, the Point Cloud Library (PCL) sample consensus module is used to identify and locate the ball. Finally, OpenCV is used to calibrate a stereo system and compute the disparity image and its 3D re-projection, resulting in a 3D point cloud. During ball motion, a point cloud of the ball centers is created for each sensor. Finally, all the point clouds are aligned with a reference sensor. The nal result of the process is the rigid body transformation of each sensor with respect to the reference frame. The method was tested both in laboratory experiments and in a real full size vehicle (AtlasCar). The relative calibration among all sensors yields very good results that are evaluated by the consistency of the detection performed by the calibrated sensors. Another additional feature of this solution is its exibility by permitting the calibration of several di erent LIDARs and cameras.