Remote assistance framework for maintenance through virtual & augmented reality

Abstract

The increasing job specialization and globalized economy often produce situations for which an expert is required on-site but co-location is either not possible or convenient due to time or cost constraints. Connecting the expert with a local technician remotely is a viable option but remote assistance for maintenance tasks presents several challenges that are not satisfied efficiently by traditional videoconference approaches, as spatial information is not easily conveyed through these mediums. Virtual and augmented reality technologies, on the other hand, are well suited to that task as the information added as virtual objects is spatially referenced. Making use of these advantages, in an attempt to address the challenges of the proliferation of remote work, a remote assistance framework for maintenance tasks making use of virtual and augmented reality was developed, with support for: asynchronous assistance; independent user views through 3D model reconstruction of the local technician’s environment; communication through non-verbal cues using annotations; virtual replica annotations. The combination of these characteristics is uncommon in current research and provides a high degree of autonomy between users, with the potential for a more efficient use of the remote expert’s time. After development, the system was evaluated with a user study targeting a building maintenance use case. The system performed better than traditional methods in task failure rate, while completion time was better only for the tasks that did not require text-insertion. Furthermore, it showed promise as a training tool, and garnered positive feedback from users.

A crescente especialização de profissões e globalização económica frequentemente produzem situações para as quais um especialista é necessário no local, mas a colocalização não é possível ou conveniente devido a considerações de tempo e custo. Ligar remotamente o especialista com um técnico no local é uma solução viável, mas a assistência remota para tarefas de manutenção apresenta vários desafios que não são facilmente satisfeitos pelas abordagens tradicionais de videoconferência, já que a informação espacial não é facilmente expressa desse modo. Tecnologias de realidade virtual e aumentada, por outro lado, prestam-se bem a este desígnio, visto que os objetos virtuais são referenciados espacialmente. Tomando partido destas vantagens, numa tentativa de responder aos desafios da proliferação do trabalho remoto, um framework de assistência remota para tarefas de manutenção usando realidade virtual e aumentada foi desenvolvido, com suporte para: assistência assíncrona; independência de vistas dos utilizadores através de reconstrução e modelação 3D do ambiente físico do técnico no local; comunicação através de pistas não-verbais através de anotações; réplicas virtuais como anotações. A combinação destas características é incomum na investigação atual e possibilita um alto grau de autonomia entre os utilizadores, com potencial para um uso mais eficiente do tempo do especialista remoto. Findo o desenvolvimento, o sistema foi avaliado com um estudo de utilizadores aplicado ao caso de estudo de manutenção de um edifício. O sistema obteve melhores resultados que os métodos tradicionais para a taxa de falha de tarefas, enquanto o tempo de execução foi melhor apenas para tarefas que não requeriam inserção de texto. Ademais, mostrou promessa como ferramenta de treino, e foi bem recebido pelos utilizadores.