People counting and tracking with FMCW radar for augmented video surveillance systems

Abstract

The present dissertation describes how a frequency-modulated continuous-wave (FMCW) Radar can be employed to count and locate persons inside a room. Apart from counting, it is also performed the spatial person tracking through processing of the Radar point cloud. A theoretical study is done, detailing how the Radar can compute fundamental parameters like distance, velocity, and angle of arrival of an object present in the field of view (FoV) and the signal processing computations done with the selected Radar evaluation kit. The application developed in the scope of this dissertation contemplates topics such as, noise mitigation, clustering algorithms and association with detected persons and/or objects. It also uses digital signal processing (DSP) algorithms capable of movement prediction in noisy environments with data extracted from the Radar and approaches the projection of Cartesian coordinates into a video surveillance camera located at a different place. This project was intended for security and safety systems, wherein the Radar would be integrated in a video surveillance camera, complementing people detection capabilities achieved via image processing algorithms, which fail in certain atmospheric or lightning conditions while the Radar is less affected. The graphical user interface (GUI) application developed in this dissertation was tested in scenarios where people would walk in regular patterns or are seated in their workplace and constructed in a way that allows it to work in real-time without major losses on the video acquisition performance. Practical results of diverse person detection and tracking use cases are demonstrated with an interesting performance.

Esta dissertação descreve como um Radar de onda contínua modulada em frequência (FMCW) pode ser utilizado na contagem e localização de pessoas dentro de uma sala. Para além da contagem de pessoas, também é realizado o rastreamento espacial da pessoa através de métodos de processamento da nuvem de pontos provenientes do Radar. É feito um estudo teórico, detalhando como o Radar é capaz de calcular parâmetros fundamentais como a distância, velocidade e ângulo de chegada de um objeto presente no campo de visão (FoV), assim como os cálculos de processamento de sinal efetuados com o kit de avaliação do Radar selecionado. A aplicação desenvolvida no âmbito da dissertação contempla tópicos como, técnicas de redução de ruído, algoritmos de segmentação de dados e associação destes a pessoas e/ou objetos, utilizando algoritmos de processamento digital de sinal (DSP) capazes de predição de movimento em ambientes ruidosos com dados extraídos do Radar, abordando ainda a projeção de coordenadas cartesianas numa câmara de videovigilância localizada num ponto distinto da sala. Este projeto foi pensado para sistemas de segurança e proteção, onde o Radar seria integrado numa câmara de videovigilância, complementado as capacidades de deteção de pessoas obtidas por meio de algoritmos de processamento de imagem, os quais tendencialmente falham em determinadas condições atmosféricas ou de iluminação enquanto o Radar é menos afetado. A aplicação de interface gráfica de utilizador (GUI) desenvolvida nesta dissertação, foi testada em cenários onde as pessoas percorrem movimentos normais como caminhar ou estão sentadas no seu local de trabalho e construído de forma a ser capaz de funcionar em tempo real sem grandes perdas na aquisição de vídeo. São apresentados alguns resultados práticos focando diversos casos de uso de deteção e rastreamento de pessoas, atingindo um desempenho interessante.