Evaluation of data augmentation techniques in 3D object detection for self-driving vehicles

Abstract

Traffic accidents are one of most common causes of unnatural death in the world. Emerging new technologies have been improving the safety of the vehicles and reducing the mortality rate on crashes. The automation of the driving task will eventually remove human error from the equation and reduce this number even further. Automating the task of driving requires that vehicles observe their surroundings. Such a task is done by vision sensors, of which LiDAR plays a key role. LiDARs produce high-definition point clouds, which are subsequently used for detecting objects. To this function is given the name of 3D Object Detection in the field of Computer Vision. Most Object Detection models nowadays are based on Deep Learning algorithms, which require massive amounts of data to be trained. The retrieval of this data is not a trivial task. Cars must be equipped with an array of sensors and driven around different scenarios for hours on end. The retrieved data then needs to be painstakingly annotated by humans. Being such an expensive and time demanding process to gather a dataset, one should make sure to fully harness the information contained in each sample. Such can be done through Data Augmentation. The process of Data Augmentation contributes significantly for the improvement of the performance gains, being actually more relevant than the advances in the object detection models themselves. This work reports the first-ever detailed quantification of the impact that the inclusion of augmented samples in a dataset has in 3D Object Detection in the context of autonomous driving. Only well established tools were used in order to enable a direct comparison with state of the art results. Such tools include the KITTI dataset, the PointPillars 3D Object Detection model, the metric of Average Precision, and proven Data Augmentation strategies. The obtained results confirm that suitably augmenting data significantly improves the Average Precision in detecting objects in 3D.

Uma das causas de morte não-natural mais comuns em todo o mundo são os acidentes de viação. As condições de segurança dos veículos têm vindo a melhorar e a taxa de mortalidade em acidentes a diminuir devido às novas tecnologias emergentes. A automação da tarefa de conduzir irá eventualmente remover o erro humano da equação e reduzir ainda mais este número. Automatizar a tarefa de conduzir requer que os veículos sejam capazes de observar o ambiente em redor. Esta tarefa é levada a cabo por sensores de visão, dos quais o LiDAR desempenha um papel chave. Os LiDARs produzem nuvens de pontos de alta-definição, que são subsequentemente usadas para detetar objetos. A esta função dá-se o nome de Deteção de Objetos em 3D no campo da Visão por Computador. Grande parte dos modelos de Deteção de Objetos são atualmente baseados em algoritmos de Aprendizagem Profunda, que requerem quantidades massivas de dados para serem treinados. Obter estes dados não é uma tarefa trivial. É necessária uma frota de carros, equipados com um conjunto de sensores, e conduzidos por diferentes cenários durante várias horas. Os dados recolhidos precisam depois de ser anotados de forma manual, o que se revela uma tarefa fastidiosa. Sendo um processo tão caro e moroso, deve-se ter a certeza que se tira o máximo partido da informação contida em cada amostra. Tal pode ser feito através do Aumento de Dados. O processo de Aumento de Dados contribui significativamente para o aumento do desempenho, sendo, na verdade, mais relevante do que os avanços tecnológicos feitos na arquitetura dos modelos de Deteção de Objetos. Este trabalho apresenta pela primeira vez uma quantificação detalhada do impacto que a inclusão de amostras aumentadas num conjunto de dados tem na Deteção de Objetos em 3D num contexto de condução autónoma. Foram usadas exclusivamente ferramentas devidamente maduras, por forma a permitir uma comparação direta dos resultados obtidos com o estado da arte. Tais ferramentas incluem o conjunto de dados KITTI, o modelo de Deteção de Objetos PointPillars, a métrica de Precisão Média, e estratégias de Aumento de Dados consolidadas. Os resultados obtidos confirmam que um aumento adequado dos dados melhora significativamente a Precisão Média na deteção de objetos em 3D.