Modular prototype of a smart mirror with voice interaction

Abstract

O mundo está em constante evolução e nos últimos anos tem sido possivel ver um grande aumento de dispositivos electrónicos, presentes no nosso quotidiano, com ligação à internet, a chamada revolução da internet das coisas. Um dispositivo que se enquadra neste grupo e que está a ganhar bastante atenção por parte da comunidade em geral é o espelho inteligente. Os espelhos inteligentes são espelhos que permitem a uma pessoa ver, para além da sua reflexão, informação relevante com base nos seus interesses. O objectivo desta dissertação é a criação de um sistema que possibilite a visualização desta informação, a interação do utilizador com o sistema e possibilidade da sua customização de acordo com as preferências do utilizador. O sistema proposto dá vida ao espelho através de módulos que as pessoas podem instalar e configurar de acordo com as suas necessidades. Os vários módulos interagem com o sistema principal, através de filas de mensagens, que são usadas para fornecer informação pronta a ser visualizada e obter do sistema dados providenciados pelo utilizador e pelos sensores existentes. Para proporcionar interacção com o espelho, foi implementado reconhecimento de comandos usando voz. Foi também criada uma página de configuração onde é possível arrastar e largar módulos para modificação da sua posição assim como alterar parâmetros dos módulos existentes. Desta dissertação resultou um protótipo de um espelho inteligente modular com interacção por comandos de voz. A sua modularidade permite a criação de novos módulos num grande número de linguagens de programação, podendo o programador escolher a que mais se adequa à funcionalidade implementada pelo módulo. Foram realizados testes de usabilidade tendo sido obtidos resultados de satisfação que comprovam a qualidade do protótipo desenvolvido

The world is in constant evolution and in recent years it is possible to see a great increase in the number of electronic devices, present in our everyday life, connected to the internet, the so called internet of things revolution. A device that fits in this group and that is gathering great acceptance from people in general is the smart mirror. Smart mirrors are mirrors that allows a person, besides seeing his reflection, to obtain relevant information to his interests. The objective for this thesis is the development of a system that permits the visualization of this information, the interaction of the user with the system and that makes itself capable of being modified and configured based on the users’ preferences. The proposed system brings life to a simple mirror through modules that are available for installation and configuration based on the users’ needs. These modules interact with the main system through message queues, that are used both to supply ready-to-be seen information and to obtain data from the user as well as from the existing sensors. The recognition of voice commands was also developed to allow user interaction with the mirror. Additionally, a configuration page was developed as well, which can be used to modify the position and parameters of the existing modules using a drag and drop approach. From this thesis resulted a modular smart mirror prototype that can be interacted with using voice commands. The modularity of this system allows the development and integration of new addons in a vast number of programming languages, giving the developer the option and power to choose the language that best suits the module functionality. Usability tests were conducted and satisfaction results were obtained that confirms the quality of the developed prototype.