Exploring radar sensing for gesture recognition

Abstract

Communication disorders have a notable negative impact on people’s lives, leading to isolation, depression and loss of independence. Over the years, many different approaches to attenuate these problems were proposed, although most come with noticeable drawbacks. Lack of versatility, intrusive solutions or the need to carry a device around are some of the problems that these solutions encounter. Radars have seen an increase in use over the past few years and even spreading to different areas such as the automotive and health sectors. This technology is non-intrusive, not sensitive to changes in environmental conditions such as lighting, and does not intrude on the user’s privacy unlike cameras. In this dissertation and in the scope of the APH-ALARM project, the author tests the radar in a gesture recognition context to support communication in the bedroom scenario. In this scenario, the user is someone with communication problems, lying in their bed trying to communicate with a family member inside or outside the house. The use of gestures allows the user to have assistance communicating and helps express their wants or needs. To recognize the gestures executed by the user, it is necessary to capture the movement. To demonstrate the capabilities of the technology, a proof of concept system was implemented, which captures the data, filters and transforms it into images used as input for a gesture classification model. To evaluate the solution, we recorded ten repetitions of five arm gestures executed by four people. A subject independent solution proved to be more challenging when compared to a subject dependent solution, where all datasets but one achieved a median accuracy above 70% with most going over 90%.

Os problemas de comunicação têm um efeito nocivo nas vidas das pessoas como isolamento, depressão e perda de independência. Ao longo dos anos, várias abordagens para atenuar estes problemas foram propostas, sendo que a maioria tem desvantagens. Falta de versatilidade, soluções intrusivas ou a necessidade de andar com um dispositivo são alguns dos problemas destas soluções. O uso de radares tem visto um aumento nos últimos anos, chegando até áreas variadas como o setor de saúde ou automóvel. Este tipo de solução é não intrusiva, não é sensível a mudanças das condições ambientais como luz e não invade a privacidade do utilizador como o uso de câmaras. Nesta dissertação e no âmbito do projeto APH-ALARM, testou-se um radar no contexto do reconhecimento de gestos para apoio à comunicação no cenário do quarto. Neste cenário, o utilizador é alguém com problemas de comunicação, que se encontra deitado na sua cama e precisa de comunicar com um familiar dentro ou fora de casa. O uso de gestos permite ao utilizador ter algum apoio durante a comunicação e ajuda o mesmo a expressar as suas necessidades. Para reconhecer os gestos feitos pelo utilizador, é necessário capturar o movimento humano. Para demonstrar as capacidades da tecnologia para este contexto, foi implementada uma prova de conceito de um sistema que captura os dados do radar e de seguida os filtra, converte-os em imagens e usa as mesmas como entrada de um modelo para classificação de gestos. Para avaliar a solução proposta, foram recolhidos dados de quatro pessoas enquanto realizavam dez repetições de cinco gestos diferentes com um dos braços. Uma solução independente do utilizador mostrou ser um caso mais desafiante quando comparada com uma solução dependente do utilizador, em que todos os datasets excepto um tem um acerto médio superior a 70% em que a maioria deles supera os 90%.