Please use this identifier to cite or link to this item:
http://hdl.handle.net/10773/33877
Title: | BedFeeling: sensing technologies for assistive communication in bed scenarios |
Other Titles: | BedFeeling: tecnologias de sonorização para apoio à comunicação no cenário da cama |
Author: | Guimarães, Afonso Manuel Macedo |
Advisor: | Oliveira, Ilídio Fernando de Castro Teixeira, António Joaquim da Silva |
Keywords: | Aphasia Smart environments Communication Gestures Sensors In-Bed scenarios Machine learning |
Defense Date: | 13-Dec-2021 |
Abstract: | People with certain speech impediments, such as aphasia, face challenges
to keep independent and active lives. The bedroom scenario assumes
a strong relevance for these individuals due to the different difficulties
that can occur and require assistance while in bed. In this context, it is
important to pursue assistive solutions for this population.
In this dissertation, we aim at creating a sensor-based solution that
recognizes dynamic arm movements while in bed, to support communication,
providing ways to raise alarms to some hazard conditions, and also
enable bidirectional and simple communication between aphasics and their
caregivers.
The solution developed uses a common smartwatch to collect movement
data (using the built-in accelerometer, gyroscope, and magnetometer),
which are forwarded to a bedside unit for processing. The bedside unit
is responsible for receiving, classifying, and deciding if the movement
performed at any time is one of the supported predefined dynamic arm
movements. If positive, the bedside unit sends an alert to the caregiver
using a specially developed mobile application that allows sending basic
“yes” or “no” questions back to the aphasic, to which he may respond
using the supported dynamic arm movements.
The system, which may be subdivided into three modules, includes a
smartwatch app responsible for acquiring the data and sending them to a
bed-side unit, a pipeline implemented on the bed-side unit responsible for
receiving and classifying the data using previously trained machine learning
models, and sending the result to a mobile app in the possession of the
caregiver, and a mobile app developed for the caregiver to receive the
notifications and allow sending messages to the user being cared for. The
bedside unit also implements a speech output service that provides audio
near the bed, allowing the aphasic to hear feedback from the caregiver. The
gesture recognition results are encouraging, both for subject-dependent
and subject-independent scenarios (i.e. mean accuracy and F1-score above
99% and 91% respectively), showing that a model generalization may be
attained, making both approaches feasible.
Although the system was built for the use case of aphasics, it is not limited
to those users and can be generalized for scenarios that require connecting
people in bed to their caregivers, when the use of voice is not feasible or
practical. Pessoas com deficiências na fala, como a afasia, enfrentam geralmente dificuldades para recuperar e manter a sua independência enquanto vivem uma vida ativa. O cenário da cama assume grande relevância para estes indivíduos, devido às diferentes dificuldades que podem ocorrer e requerer assistência (e.g., dor súbita, dificuldade de movimentação de membros e, neste contexto, é importante avaliar soluções para essa população. Esta dissertação tem como objetivo a conceptualização e criação de uma solução baseada em sensores que reconheça movimentos dinâmicos do braço, com o utilizador deitado na cama, de forma a apoiar a comunicação, proporcionando meios não só para o alarme de uma emergência, mas também para permitir uma comunicação bidirecional e simples entre um afásico e o seu cuidador. A solução desenvolvida usa um único “smartwatch” para detetar um conjunto de gestos usando os valores do acelerómetro, giroscópio, e magnetómetro, fornecidos através do smartwatch a uma unidade de processamento colocada ao lado da cama. Esta unidade é responsável por receber, classificar e decidir se qualquer movimento realizado é um dos movimentos dinâmicos predefinidos. Se positivo, esta unidade envia um alerta ao cuidador por meio de uma aplicação móvel especialmente desenvolvida para o efeito e que permite enviar perguntas básicas, de resposta sim ou não, de volta ao afásico às quais ele pode responder usando, novamente, um dos movimentos dinâmicos suportados. O sistema, que pode ser subdividido em três módulos, inclui uma aplicação para um smartwatch responsável por adquirir os dados e enviá-los para uma unidade de processamento, um pipeline implementado na unidade de processamento responsável por receber e classificar os dados, enviando o resultado para uma aplicação móvel na posse do cuidador, e uma aplicação móvel desenvolvido para o cuidador receber as notificações e permitir o envio de mensagens ao utilizador sob sua responsabilidade. A unidade de processamento também fornece feedback sonoro, permitindo ao afásico receber indicações do seu cuidador. Os resultados para reconhecimento de gestos são bastante positivos, quer para um cenário de “dependência de sujeito” ou “independência de sujeito” (i.e. “accuracy” e F1-score com média a rondar os 99% e 91% respetivamente), mostrando que uma solução generalizada pode ser alcançada, tornando as duas abordagens viáveis. Embora o sistema tenha sido construído para uso por utilizadores afásicos, este não se limita unicamente aos mesmos, podendo ser generalizado para cenários que requeiram a ligação entre pessoas na cama aos seus cuidadores, quando o uso da voz não for viável ou prático. |
URI: | http://hdl.handle.net/10773/33877 |
Appears in Collections: | UA - Dissertações de mestrado DETI - Dissertações de mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Documento_Afonso_Guimarães.pdf | 10.38 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.