Using a robotic arm to assist during scenarios of remote collaboration supported by mixedreality

Abstract

The transition to Industry 5.0 marks a significant shift toward humancentric manufacturing, emphasizing seamless collaboration between human operators and intelligent machines. A critical challenge in Human-Robot Collaboration (HRC) is facilitating effective remote interaction, enabling humans and robots to cooperate across distance. Mixed-Reality (MR) emerges as a transformative technology capable of bridging this gap, by providing immersive environments where physical and virtual elements coexist and interact in real time. This dissertation addresses the need for enhanced remote collaboration by developing a novel framework that integrates MR with a robotic arm to enable dynamic and immersive cooperation between on-site and remote human operators. The developed system allows on-site users to manipulate the robot through an intuitive interface enriched with visual and auditory cues, enhancing user awareness and safety. Virtual safety zones are implemented to ensure secure interaction, automatically halting the robot if breached. Remote users can visualize the collaborative scenario in real time and control the robot via the shared MR application, supported by a live camera feed from the robot’s perspective, providing comprehensive situational awareness. All in all, a comprehensive framework that enables the integration of novel software and technologies is presented, laying the groundwork for future enhancements aligned with societal growth and evolving industrial scenarios. This dissertation aims to contributes to the advancement of modern manufacturing environments by embracing the human-centric values of Industry 5.0, fostering more efficient, safe, and collaborative industrial practices.

A transição para a Indústria 5.0 representa uma mudança significativa cujo objetivo consiste em reintroduzir o elemento humano no ambiente de produção, permitindo uma colaboração mais eficiente entre os operadores e os sistemas inteligentes da Indústria 4.0. A Colaboração Humano-Robô (CHR) proporciona uma maneira eficaz de facilitar a interação entre estes elementos, porém fazê-lo à distância ainda representa um dos maiores desafios desta transição. Face a esta lacuna, surge a Realidade Mista (RM), uma tecnologia revolucionária capaz de a colmatar, ao criar ambientes imersivos onde elementos físicos e virtuais coexistem e interagem em tempo real. A presente dissertação tem como objetivo responder às novas necessidades da indústria, através do desenvolvimento de uma nova arquitetura que integra a RM com um braço robótico, proporcionando uma colaboração dinâmica e imersiva entre operadores locais e remotos. O sistema desenvolvido permite ao utilizador local manipular o robô através de uma interface intuitiva composta por elementos visuais e auditivos, cujo propósito consiste em aumentar a sua imersão e segurança. As zonas de segurança virtuais implementadas pretendem garantir uma interação segura, parando automaticamente o robô caso sejam ultrapassadas. Os utilizadores remotos podem visualizar o cenário de colaboração em tempo real e controlar o robô através da aplicação desenvolvida. Foi adicionada uma câmara ao robô de modo a transmitir a sua perspetiva, permitindo ao utilizador remoto ter uma melhor perceção do cenário de colaboração. Resumindo, foi desenvolvido um sistema abrangente que permite a integração de novas tecnologias, lançando as bases para melhorias futuras alinhadas com o crescimento e avanço dos cenários de colaboração na indústria. Sendo assim, esta dissertação procura contribuir para ambientes industriais mais eficientes e modernos, tendo em conta os valores centrados no ser humano na Indústria 5.0, promovendo práticas industriais mais eficientes, seguras e colaborativas.