Contributions to the development of applications for children with communication and integration problems

Abstract

Communication, to express our needs and ideas, is a fundamental piece of our daily lives, enabling our interaction with others and contributing to establish social bonds. When this ability is affected, whether by contextual issues (e.g., noisy environment) or intrinsic conditions (e.g., speech articulation difficulties) it creates a challenging scenario for both the individuals and those surrounding them. Children diagnosed with Austism Spectrum Disorders (ASD) are a notable example of an audience facing these challenges given their frequent difficulties to communicate and socially interact with others. In this context, their challenges not only affect their ability to integrate with family and friends, but can also influence how they perform at school, an important environment for their development. In recent years, efforts have been made to propose technological solutions that contribute to support these children in their communication, but most of the work in the literature mainly focuses on the child entailing a support that does not truly addresses integration. Considering this context, we argue that these challenges need to be addressed considering the needs and motivations of children with ASD, but also keeping in mind the motivations of those around them, helping parents, teachers and friends to take part in the integration. Profiting from previous work on the characterization of the needs and motivations of children with ASD, their families, and teachers, the work carried out explores different communication-related scenarios, at school and at home, and proposes a set of requirements that should be considered to serve them. Considering these requirements, and adopting an iterative user-centered design approach, a first proof-of-concept application is proposed. AMICA, Adaptive Multimodal Integrated Communication for All, is a multi-platform, multiuser and multimodal application that aims to illustrate how some issues that affect children with ASD and those surrounding them can be addressed in order to their lives easier. At its current stage, AMICA already encompasses support for several communication features adapted to serve the child, family, friends, and teachers providing them a space for interaction. The modular multi-platform nature of the work carried out enables AMICA as a testbed for further research on different multimodal ways of communication for children with ASD (e.g., gaze or pictograms), but, also, by allowing the participation of different users, it fosters first studies on the dynamic nature of such communication.

A comunicação, para expressar as nossas necessidades e ideias, é uma peça fundamental do nosso dia a dia, permitindo a nossa interação com os outros e contribuindo para estabelecer laços sociais. Quando essa capacidade é afetada, seja por questões contextuais (por exemplo, ambiente ruidoso) ou condições intrínsecas (por exemplo, dificuldades de articulação de fala), ela cria um cenário desafiante tanto para os indivíduos como para os que os rodeiam. As crianças diagnosticadas com Perturbação do Espetro do Autismo (PEA) são um exemplo notável de uma audiência que enfrenta esses desafios, devido às suas frequentes dificuldades para comunicar e interagir socialmente com os outros. Neste contexto, os seus desafios não afetam apenas a sua capacidade de integração com a família e os amigos, podendo, também, influenciar o seu desempenho na escola, um ambiente importante para o seu desenvolvimento. Nos últimos anos, têm sido feitos esforços para propor soluções tecnológicas que contribuam para apoiar essas crianças na sua comunicação, mas a maior parte do trabalho na literatura concentra-se principalmente no uso, pela criança, de apoios que não abordam verdadeiramente a integração. Considerando esse contexto, argumentamos que esses desafios precisam de ser abordados considerando as necessidades e motivações das crianças com PEA, mas também tendo em mente as motivações das pessoas ao seu redor, ajudando pais, professores e amigos a participarem na integração. Aproveitando os trabalhos anteriores sobre a caracterização das necessidades e motivações das crianças com PEA, as suas famílias e professores, o trabalho realizado explora diferentes cenários relacionados à comunicação, na escola e em casa, e propõe um conjunto de requisitos que devem ser considerados para os servir. Considerando esses requisitos e adotando uma abordagem de projeto iterativa, centrada no utilizador, uma primeira aplicação de prova de conceito é proposta. AMICA, Adaptive Multimodal Integrated Communication for All, é uma aplicação multi-plataforma, multi-utilizador e multimodal que visa ilustrar como algumas questões que afetam as crianças com PEA e aqueles que as rodeiam podem ser abordadas para tentar facilitar as suas vidas. No estado atual, a AMICA já engloba o suporte a vários recursos de comunicação adaptados para atender a criança, a família, os amigos e os professores, proporcionando-lhes um espaço de interação. A natureza modular multi-plataforma do trabalho realizado permite que AMICA seja uma base para mais pesquisas sobre diferentes formas multimodais de comunicação para crianças com PEA (por exemplo, olhar ou pictogramas), mas, também, permitindo a participação de diferentes utilizadores, promove primeiros estudos sobre a natureza dinâmica de tal comunicação.