Augmented reality serious game for intelligent wheelchair

Abstract

The quality of life of people with reduced mobility is an important matter and every day technology also evolves in order to help them. Intelligent wheelchairs are a result of this evolution, however, adapting to use new technologies is not always easy. Serious games can make the process of acquiring the skills to use a robotic wheelchair a fun and immersive method. Augmented reality is also a support tool in learning and training how to use several new technologies, including robotics. Allowing the visualization and interaction with virtual objects in the environment which the intelligent wheelchair is inserted, augmented reality make the creation of a serious game possible. Consequently, in this dissertation we developed an augmented reality serious game, taking advantage of ARCore’s tracking capabilities, which were studied and evaluated. A tool for configuring the augmented reality environment where the serious game is played has been developed. The game is supported by a visualization tool that, at the end, allows the visualization of the user’s performance and his errors. An experiment to compare the configuration methods and evaluate the serious game was carried out with the collaboration of a set of participants. This experience allowed us to verify the advantages that the configuration methods using the desktop PC could bring over those using the smartphone and vice versa, as well as verifying that the augmented reality serious game could be an asset to help control robotic wheelchairs. In addition to the development of the serious game and the tools necessary to make it possible, we also developed a library which allows transforming Unity games into augmented reality games. This library allows to overcome some of the limitations imposed by the configuration tool.

A qualidade de vida das pessoas com mobilidade reduzida é um assunto importante e todos os dias a tecnologia também evolui no sentido de os ajudar. As cadeiras de rodas inteligentes são um resultado desta evolução, no entanto, a adaptação para usar novas tecnologias nem sempre é fácil. Os jogos sérios podem tornar o processo de aquisição de competências para utilizar uma cadeira de rodas robótica num método divertido e imersivo. A realidade aumentada mostra-se também um auxílio na aprendizagem e no treino da utilização de várias novas tecnologias, incluindo a robótica. Permitindo a visualização e interação com objetos virtuais no ambiente em que a cadeira de rodas inteligente está inserida, a realidade aumentada possibilita a criação de um jogo sério. Consequentemente, nesta dissertação desenvolvemos um jogo sério de realidade aumentada, tirando vantagem das capacidades de tracking do ARCore, que foram estudadas e avaliadas. Foi elaborado uma ferramenta de configuração do ambiente de realidade aumentada onde o jogo sério é realizado. O jogo tem o suporte de uma ferramenta de visualização que, no fim, permite visualizar a performance do utente e os seus erros. Uma experiência para comparar os métodos de configuração e avaliar o jogo sério foi realizada com a colaboração de um conjunto de utilizadores. Esta experiência permitiu verificar as vantagens que os métodos de configuração utilizando o computador podiam trazer em relação aos que usam o telemóvel e vice-versa, como também verificar que o jogo sério de realidade aumentada podia ser uma mais valia para auxiliar o controlo de cadeiras de rodas robóticas. Para além do desenvolvimento do jogo sério e das ferramentas necessárias para que este seja possível, foi também desenvolvida uma biblioteca que permite transformar jogos Unity em jogos de realidade aumentada. Esta biblioteca permite ultrapassar algumas das limitações impostas pela ferramenta de configuração.