Generic modalities for silent interaction

Abstract

Human communication is not reduced to verbal. There are several aspects that can complement or replace audible speech, such as gestures, gaze and silent speech. The diversity and contexts of use of interactive systems demand the proposal of more natural (and intuitive) forms of interaction. In this context, multimodality was introduced, providing different methods of interaction, allowing to shorten the gap between the human and the computer. However, the development of interactive systems where there are integrated multiple interaction modalities is a complex task, particularly due to the wide range of technologies that developers need to master to do it. Additionally, the support for a particular interaction technology is often developed for specific applications, which hinders reusing it for other contexts. In this research work, a model is proposed and developed for the integration of silent interaction modalities in interactive systems. A set of generic modalities is designed and developed to support a silent interaction aligned with the proposed vision. This research work contributed to the development of three generic modalities, namely the gestures modality, the gaze modality and the silent speech modality. The generic modalities proposed already include basic modules so that they can be used. Tests were also carried out on the capabilities of the modalities, it was demonstrated their use in a proof-of-concept application, so as to control the VLC, a multimedia content player, and an evaluation done by developers in order to evaluate the facility of use of the gestures modality.

A comunicação humana não se reduz ao verbal. Existem vários aspetos que podem complementar ou substituir a fala audível, como gestos, olhar e fala silenciosa. A diversidade e os contextos de uso de sistemas interativos exigem a proposta de formas mais naturais (e intuitivas) de interação. Neste contexto, a multimodalidade foi introduzida, oferecendo diferentes métodos de interação, permitindo encurtar a distância existente entre o humano e o computador. No entanto, o desenvolvimento de sistemas interativos onde são integradas múltiplas modalidades de interação é uma tarefa complexa, particularmente devido à ampla variedade de tecnologias que os programadores necessitam de dominar. Adicionalmente, o suporte para uma tecnologia de interação particular é frequentemente desenvolvida para aplicações específicas, o que dificulta a sua reutilização para outros contextos. Neste trabalho, é proposto e implementado um modelo para a integração de modalidades de interação silenciosas em sistemas interativos. É desenhado e desenvolvido um conjunto de modalidades genéricas para suportar uma interação silenciosa alinhada com a visão proposta. Este trabalho contribuiu para o desenvolvimento de três modalidades genéricas, nomeadamente a modalidade de gestos, a modalidade de gaze e a modalidade de fala silenciosa. As modalidades genéricas propostas já incluem módulos básicos para que seja possível fazer o uso das mesmas. Foram também realizados testes às capacidades das modalidades, foi demonstrado o seu uso numa aplicação de prova de conceito, com o intuito de controlar o VLC, um reprodutor de conteúdos multimédia, e uma avaliação feita por programadores de modo a avaliar a facilidade de uso da modalidade de gestos.