Utilize este identificador para referenciar este registo:
http://hdl.handle.net/10773/33726
Título: | Exploring radar sensing for gesture recognition |
Outros títulos: | Exploração de radar para reconhecimento de gestos |
Autor: | Santana, Luís Fernando do Vale |
Orientador: | Rocha, Ana Patrícia Oliveira Ferreira da Silva, Samuel de Sousa |
Palavras-chave: | Radar Aphasia Gesture Communication Gesture recognition Smart home Transfer learning Non-intrusive sensors |
Data de Defesa: | 2-Dez-2021 |
Resumo: | Communication disorders have a notable negative impact on people’s lives, leading
to isolation, depression and loss of independence. Over the years, many different
approaches to attenuate these problems were proposed, although most come with
noticeable drawbacks. Lack of versatility, intrusive solutions or the need to carry
a device around are some of the problems that these solutions encounter.
Radars have seen an increase in use over the past few years and even
spreading to different areas such as the automotive and health sectors. This
technology is non-intrusive, not sensitive to changes in environmental conditions
such as lighting, and does not intrude on the user’s privacy unlike cameras.
In this dissertation and in the scope of the APH-ALARM project, the author
tests the radar in a gesture recognition context to support communication in
the bedroom scenario. In this scenario, the user is someone with communication
problems, lying in their bed trying to communicate with a family member inside
or outside the house. The use of gestures allows the user to have assistance
communicating and helps express their wants or needs. To recognize the gestures
executed by the user, it is necessary to capture the movement. To demonstrate
the capabilities of the technology, a proof of concept system was implemented,
which captures the data, filters and transforms it into images used as input for a
gesture classification model.
To evaluate the solution, we recorded ten repetitions of five arm gestures
executed by four people. A subject independent solution proved to be more
challenging when compared to a subject dependent solution, where all datasets
but one achieved a median accuracy above 70% with most going over 90%. Os problemas de comunicação têm um efeito nocivo nas vidas das pessoas como isolamento, depressão e perda de independência. Ao longo dos anos, várias abordagens para atenuar estes problemas foram propostas, sendo que a maioria tem desvantagens. Falta de versatilidade, soluções intrusivas ou a necessidade de andar com um dispositivo são alguns dos problemas destas soluções. O uso de radares tem visto um aumento nos últimos anos, chegando até áreas variadas como o setor de saúde ou automóvel. Este tipo de solução é não intrusiva, não é sensível a mudanças das condições ambientais como luz e não invade a privacidade do utilizador como o uso de câmaras. Nesta dissertação e no âmbito do projeto APH-ALARM, testou-se um radar no contexto do reconhecimento de gestos para apoio à comunicação no cenário do quarto. Neste cenário, o utilizador é alguém com problemas de comunicação, que se encontra deitado na sua cama e precisa de comunicar com um familiar dentro ou fora de casa. O uso de gestos permite ao utilizador ter algum apoio durante a comunicação e ajuda o mesmo a expressar as suas necessidades. Para reconhecer os gestos feitos pelo utilizador, é necessário capturar o movimento humano. Para demonstrar as capacidades da tecnologia para este contexto, foi implementada uma prova de conceito de um sistema que captura os dados do radar e de seguida os filtra, converte-os em imagens e usa as mesmas como entrada de um modelo para classificação de gestos. Para avaliar a solução proposta, foram recolhidos dados de quatro pessoas enquanto realizavam dez repetições de cinco gestos diferentes com um dos braços. Uma solução independente do utilizador mostrou ser um caso mais desafiante quando comparada com uma solução dependente do utilizador, em que todos os datasets excepto um tem um acerto médio superior a 70% em que a maioria deles supera os 90%. |
URI: | http://hdl.handle.net/10773/33726 |
Aparece nas coleções: | UA - Dissertações de mestrado DETI - Dissertações de mestrado |
Ficheiros deste registo:
Ficheiro | Descrição | Tamanho | Formato | |
---|---|---|---|---|
Documento_Luis_Santana.pdf | 2.86 MB | Adobe PDF | Ver/Abrir |
Todos os registos no repositório estão protegidos por leis de copyright, com todos os direitos reservados.