Interaction in virtual reality using mobile devices

Abstract

Traditionally, keyboards and 3D controllers such as the Wiimote have been used to interact with Virtual Environments. Despite being simple to use, these types of input devices have a number of limitations: xed layout, require the user to remember the mapping between buttons and functions and indirect manipulation of virtual objects, being done using buttons. This dissertation proposes the use of mobile devices to interact with immersive virtual environments. These devices allow to have exible interfaces and the touchscreen combined with the onboard sensors in smartphones and tablets allow for new interaction styles, in tasks such as direct selection and manipulation of virtual objects and navigation. In order to validate the system a Virtual Museum application was developed. Based on this system two studies addressing two open research questions related to immersive virtual environments: the user virtual embodiment and the interaction methods to use for navigation and selection. This dissertation provides new insights into the e ects of virtual embodiment and even if is not always as robust as the use of 3D controllers, the interaction using mobile devices is viable and o ers several interesting interaction possibilities.

Tradicionalmente, teclados e comandos 3D como o Wiimote têm sido usados para interagir com Ambientes Virtuais. Apesar de serem simples de usar, dispositivos deste tipo têm algumas limitações: layout fixo, necessidade de os utilizadores se lembrarem do mapeamento entre cada botão e função e manipulação de objetos virtuais indireta sendo feita através de botões. Esta dissertação propõe o uso de dispositivos móveis para interação com ambientes virtuais imersivos. Estes dispositivos apresentam algumas vantagens, nomeadamente permitem a existência de interfaces flexíveis e os touchscreens juntamente com os sensores internos dos smartphones e tablets permitem novos estilos de interação, para tarefas como a seleção e manipulação direta de objetos virtuais e navegação. Foi desenvolvida uma aplicação de Museu Virtual para validar o sistema proposto. Com base neste sistema foram feitos dois estudos que abordam duas questões ainda em aberto na área dos Ambientes Virtuais Imersivos: a representação virtual do corpo do utilizador e os métodos de interação a usar para navegação e seleção. Esta dissertação apresenta resultados sobre os efeitos da personificação virtual e mostra que apesar de por vezes não ser tão robusta como o uso de comandos 3D, a interação usando dispositivos móveis e viável e oferece v arias possibilidades de interação interessantes.