Enhanced multimodal interaction framework and applications

Abstract

A investigação em Interação Humano-Computador (IHC) explora a criação de novos cenários e formas de utilização de dispositivos, permitindo que aqueles com menos capacidades ou deficiências possam também utilizar a tecnologia. Projetos como o European AAL PaeLife ou IRIS exploram o uso de múltiplas modalidades para atingir esse objetivo. Esta tese apresenta uma evolução da plataforma multimodal existente e utilizada nos projetos AAL anteriores com os seguintes três principais pontos: adição de um novo componente de modalidade à lista de modalidades já disponíveis que permite a interação com o olhar; a criação de um sistema de pesquisa para encontrar outros dispositivos que executam a mesma plataforma multimodal possibilitando a troca de contexto entre os dois dispositivos; permitir que os componentes de modalidade existentes possam ser usados em conjunto com a nova modalidade de olhar através da criação de um processo de fusão na plataforma. Estas melhorias foram apresentadas em cenários relacionados aos usados no PaeLife e IRIS, para os idosos e para uma criança com uma desordem do espectro autista.

The research in Human-Computer Interaction (HCI) explores the creation of new scenarios and forms of using devices, enabling those with less capacities or impaired to also use technology. Projects such as the European AAL PaeLife or IRIS explore the use of multiple modalities to achieve that goal. This thesis presents an enhancement to the existing multimodal framework used on the previous AAL project with the main three points: addition of a new modality component to the list of available modalities that allow the interaction using gaze; the creation of a search system for finding other devices running the same multimodal framework and enable the exchange of context between the two devices; enable the existing modality components to be used together with the new gaze modality by adding a fusion process to the framework. These improvements were presented in scenarios related to the ones used on PaeLife and IRIS, for the elderly and for a child with an autistic spectrum disorder.