Gestures speak louder than words: radar-based gesture interaction with smart environments

Abstract

The environments we live in are becoming increasingly smarter, creating the need of finding suitable ways to interact with them. While interaction modes such as speech, text, and touch remain prevalent, there are associated challenges related to background noise interference, accessibility issues, and reliance on devices (e.g., smartphones, wearables). Gesture-based interaction emerges as a promising alternative or complement to those modes. In this context, radars represent a good option for enabling gesture recognition, since they rely on radio waves to detect moving targets, not presenting the disadvantages of other sensors such as cameras and wearables, which can be considered too intrusive by the users. The main objective of this work is to develop a solution to interact with smart environments, such as smart homes, through the use of gestures detected by non-intrusive sensors, more specifically radars. As a proof of concept, in the context of interaction with displays installed in the smart home, a prototype was implemented that includes a gesture input modality, as well as output modalities that are updated according to the detected gesture. The gesture input modality is capable of recognizing five different gestures performed by the user at different distances between the user and the radar, based on the data acquired by this sensor. Gesture recognition relies on a model trained using transfer learning and features corresponding to images obtained from radar data. To evaluate this method, a main study was conducted involving twelve subjects. The best results were obtained for a solution dependent on both the user and the distance between the user and the radar (mean accuracy and F1 score between 85% and 95%). Solutions independent of the user or distance proved to be more challenging. However, it proved to be sufficient for practical use when considering several consecutive windows. All results obtained were very useful for implementing the gesture modality prototype and also inform future work related to gesture recognition and interaction with smart environments.

Os ambientes em que vivemos estão a tornar-se cada vez mais inteligentes, criando a necessidade de encontrar formas adequadas de interagir com eles. Embora os modos de interação como a fala, texto e toque continuem a ser predominantes, existem desafios associados, tais como interferências de ruído de fundo, questões de acessibilidade e dependência de dispositivos (por exemplo, telemóveis, wearables). A interação baseada em gestos surge como uma alternativa ou complemento promissor a esses modos. Neste contexto, os radares representam uma boa opção para permitir o reconhecimento de gestos, uma vez que utilizam ondas de rádio para detetar alvos em movimento, não apresentando as desvantagens de outros sensores, como câmaras e wearables, que podem ser considerados demasiado intrusivos pelos utilizadores. O objetivo principal deste trabalho é o desenvolvimento de uma solução para interação com espaços inteligentes, como casas inteligentes, através de gestos baseada em sensores minimamente intrusivos, mais especificamente radares. Como prova de conceito, no âmbito de interação com ecrãs instalados na casa, foi implementado um protótipo que inclui uma modalidade de entrada de gestos, bem como como modalidades de saída que sofrem determinadas alterações dependendo do gesto identificado. A modalidade de gestos é capaz de distinguir entre cinco gestos diferentes realizados pelo utilizador a distâncias diferentes do radar, com base nos dados fornecidos por este sensor. O reconhecimento de gestos depende de um modelo treinado usando transfer learning e características que correspondem a imagens obtidas a partir dos dados do radar. Para avaliar este método, foi realizado um estudo principal envolvendo doze sujeitos. Os melhores resultados foram obtidos para uma solução dependente tanto do utilizador como da distância entre este e o radar (valor médio de accuracy e F1 score entre 85% e 95%). O tipo de solução independente do utilizador ou da distância mostrou ser mais desafiante. No entanto, demonstrou ser suficiente para utilização na prática quando se consideram várias janelas seguidas. Todos os resultados obtidos foram muito úteis para a implementação do protótipo da modalidade de gestos e também informam trabalho futuro relacionado com o reconhecimento de gestos e interação com ambientes inteligentes.