Sensor fusion of laser and vision in active pedestrian detection

Abstract

This work explores a technique of sensor fusion that aims to equip vehicles with pedestrian fast detection mechanisms in exterior environments. This method restricts image areas of search based on indicators obtained by another sensor (LIDAR). This technique is based on the idea that when having a registration among the involved sensors, one "fast" sensor, but inaccurate, that can indicate regions where potential pedestrian are located on the image, and another sensor, "slower" but more robust that is used to confirm detection more accurately. So, an algorithm was created to merge two algorithms, a LIDAR-based tracking and a vision-based detection algorithm; The LIDAR indicates the precise location and scale of the potential pedestrian on the image, and crop the image relative to the potential pedestrian, being processed afterwards by one pedestrian detection algorithm to validate the classification. The method is tested in two different cases and the results confirm their validity.

Este trabalho explora uma técnica de fusão sensorial que visa dotar veículos de mecanismos rápidos de detecção de peões em ambiente exterior. O método restringe as zonas de procura numa imagem com base em indicadores obtidos por outro sensor (LIDAR). Esta técnica tem como base a idéia de que havendo um registo entre os sensores envolvidos, um sensor "rápido" mas pouco preciso, pode indicar as regiões onde potencialmente há alvos, e outro sensor, "lento" mas mais robusto, é utilizado para fazer a confirmação da deteção. Com vista a explorar essas propriedades, foi criado um algoritmo que utiliza a informação de dois sensores, para primeiro selecionar, de entre muitos objectos, possíveis peões(fase LIDAR) e dada a informação da localização do possível pedestre, uma imagem já à escala e precisa da localização, é recortada da imagem inicial, sendo a mesma enviada a ser processada por um detetor de peões (sensor mais robusto), permitindo a sua rigorosa classificação. O método é testado em dois conjuntos de dados diferentes e os resultados confirmam a sua validade.