What a nice gesture: supporting the communication of people with aphasia for the in-bed scenario

Abstract

Communication is an essential part of life and, when ffected, as it happens to people with Aphasia, it severely impacts their quality of life. Augmentative and Alternative Communication (AAC) approaches aim to aid people with their communication disabilities. However, not all parts of the day are easily covered by these solutions, e.g., when lying in bed. In this dissertation, we aim at developing a solution that allows for two-way remote communication between a person with Aphasia (PWA) and other people (e.g., caregiver), while the former is lying in bed, alone. This work was carried out in the scope of the APH-ALARM project and builds on previous works within the same project. To address this goal, we collaborated with domain experts to obtain relevant information about the needs and motivations of a PWA and to evaluate our initial concept proposal. These results translated into a refined proposal of the system, and can also be considered an asset in other works with aiding people with aphasia as the main focus. As part of the system, we implemented an assistant that mediates communication relying on Yes/No questions with the purpose of gathering information before sending a message to the caregiver. These questions are presented audiovisually to the PWA and answered through gestures. The gestures are recognized using a model that classifies gestures that can be executed in different postures and using either arm. Considering a dataset corresponding to 8 subjects, this model achieved an F1-score of 99% and 93% for the subject dependent and independent cases, respectively. The bedroom scenario can be seen as the first step of an ambitious vision of providing support in every division of a home, while also not being limited to only aphasics, showing potential to aid anyone with speech difficulties.

A comunicação é uma parte essencial da vida e, quando afectada, como acontece com as pessoas com Afasia, tem um impacto severo na sua qualidade de vida. Abordagens de Comunicação Aumentativa e Alternativa (CAA) visam ajudar pessoas com dificuldades de comunicação. No entanto, nem todas as partes do dia são facilmente cobertas por estas soluções, tais como quando se está deitado na cama. Nesta dissertação, o objetivo é desenvolver uma solução que permite comunicação bilateral remota entre uma pessoa com Afasia (PCA) e outras pessoas (por exemplo, o cuidador), quando o primeiro está deitado na cama, sozinho. Este trabalho foi realizado no âmbito do projeto APH-ALARM e evolui trabalhos anteriores dentro do mesmo projeto. Para alcançar este objetivo, colaboramos com peritos no domínio para obter informação relevante sobre as necessidades e motivações de uma PCA e para avaliar a nossa proposta conceptual inicial. Estes resultados traduzem-se numa proposta do sistema refinada, podendo também ser considerados como um recurso em outros trabalhos nos quais ajudar pessoas com afasia seja um dos focos principais. Como parte do sistema, implementámos um assistente que faz a mediação da comunicação com base em perguntas de Sim/Não com o objetivo de recolher informação antes de enviar uma mensagem ao cuidador. Estas perguntas são apresentadas audiovisualmente à PCA e respondidas através de gestos. Os gestos são reconhecidos utilizando um modelo que classifica gestos que podem ser executados em diferentes posturas e utilizando qualquer um dos braços. Considerando um conjunto de dados correspondente a 8 sujeitos, este modelo alcançou um F1-score de 99% e 93% para os casos dependentes e independentes do sujeito, respetivamente. O cenário do quarto pode ser visto como o primeiro passo de uma visão ambiciosa de apoio em todas as divisões da casa, não se limitando apenas a afásicos, mostrando potencial para ajudar qualquer pessoa com dificuldades de fala.