BedFeeling: sensing technologies for assistive communication in bed scenarios

Abstract

People with certain speech impediments, such as aphasia, face challenges to keep independent and active lives. The bedroom scenario assumes a strong relevance for these individuals due to the different difficulties that can occur and require assistance while in bed. In this context, it is important to pursue assistive solutions for this population. In this dissertation, we aim at creating a sensor-based solution that recognizes dynamic arm movements while in bed, to support communication, providing ways to raise alarms to some hazard conditions, and also enable bidirectional and simple communication between aphasics and their caregivers. The solution developed uses a common smartwatch to collect movement data (using the built-in accelerometer, gyroscope, and magnetometer), which are forwarded to a bedside unit for processing. The bedside unit is responsible for receiving, classifying, and deciding if the movement performed at any time is one of the supported predefined dynamic arm movements. If positive, the bedside unit sends an alert to the caregiver using a specially developed mobile application that allows sending basic “yes” or “no” questions back to the aphasic, to which he may respond using the supported dynamic arm movements. The system, which may be subdivided into three modules, includes a smartwatch app responsible for acquiring the data and sending them to a bed-side unit, a pipeline implemented on the bed-side unit responsible for receiving and classifying the data using previously trained machine learning models, and sending the result to a mobile app in the possession of the caregiver, and a mobile app developed for the caregiver to receive the notifications and allow sending messages to the user being cared for. The bedside unit also implements a speech output service that provides audio near the bed, allowing the aphasic to hear feedback from the caregiver. The gesture recognition results are encouraging, both for subject-dependent and subject-independent scenarios (i.e. mean accuracy and F1-score above 99% and 91% respectively), showing that a model generalization may be attained, making both approaches feasible. Although the system was built for the use case of aphasics, it is not limited to those users and can be generalized for scenarios that require connecting people in bed to their caregivers, when the use of voice is not feasible or practical.

Pessoas com deficiências na fala, como a afasia, enfrentam geralmente dificuldades para recuperar e manter a sua independência enquanto vivem uma vida ativa. O cenário da cama assume grande relevância para estes indivíduos, devido às diferentes dificuldades que podem ocorrer e requerer assistência (e.g., dor súbita, dificuldade de movimentação de membros e, neste contexto, é importante avaliar soluções para essa população. Esta dissertação tem como objetivo a conceptualização e criação de uma solução baseada em sensores que reconheça movimentos dinâmicos do braço, com o utilizador deitado na cama, de forma a apoiar a comunicação, proporcionando meios não só para o alarme de uma emergência, mas também para permitir uma comunicação bidirecional e simples entre um afásico e o seu cuidador. A solução desenvolvida usa um único “smartwatch” para detetar um conjunto de gestos usando os valores do acelerómetro, giroscópio, e magnetómetro, fornecidos através do smartwatch a uma unidade de processamento colocada ao lado da cama. Esta unidade é responsável por receber, classificar e decidir se qualquer movimento realizado é um dos movimentos dinâmicos predefinidos. Se positivo, esta unidade envia um alerta ao cuidador por meio de uma aplicação móvel especialmente desenvolvida para o efeito e que permite enviar perguntas básicas, de resposta sim ou não, de volta ao afásico às quais ele pode responder usando, novamente, um dos movimentos dinâmicos suportados. O sistema, que pode ser subdividido em três módulos, inclui uma aplicação para um smartwatch responsável por adquirir os dados e enviá-los para uma unidade de processamento, um pipeline implementado na unidade de processamento responsável por receber e classificar os dados, enviando o resultado para uma aplicação móvel na posse do cuidador, e uma aplicação móvel desenvolvido para o cuidador receber as notificações e permitir o envio de mensagens ao utilizador sob sua responsabilidade. A unidade de processamento também fornece feedback sonoro, permitindo ao afásico receber indicações do seu cuidador. Os resultados para reconhecimento de gestos são bastante positivos, quer para um cenário de “dependência de sujeito” ou “independência de sujeito” (i.e. “accuracy” e F1-score com média a rondar os 99% e 91% respetivamente), mostrando que uma solução generalizada pode ser alcançada, tornando as duas abordagens viáveis. Embora o sistema tenha sido construído para uso por utilizadores afásicos, este não se limita unicamente aos mesmos, podendo ser generalizado para cenários que requeiram a ligação entre pessoas na cama aos seus cuidadores, quando o uso da voz não for viável ou prático.