Visual servoing of a human head using fixed targets

Abstract

Este trabalho apresenta como tese que a visão pode ter um papel importante no equilíbrio e navegação de robôs humanóides tal como acontece nos seres humanos, em particular se se assumir a existência de características fixas no cenário envolvente. O Projeto Humanóide da Universidade de Aveiro (PHUA) é usado neste trabalho como base para desenvolver a proposição desta dissertação. Todos os componentes mecânicos do pescoço do PHUA foram reconstruídos e melhorados para assegurar uma infraestrutura fiável. Foram desenvolvidos algoritmos de processamento de imagem e seguimento visual para encontrar e seguir um alvo fixo, com o intuito de obter realimentação visual para o sistema de seguimento do pescoço. Desenvolveu-se também um algoritmo de controlo de seguimento para a cabeça do humanoide com o intuito de seguir um alvo baseado em realimentação visual. A informação da posição do pescoço pode ser integrada posteriormente com a rede sensorial do humanóide de forma a melhorar o equilíbrio do robô. Foram ainda calculadas e testadas as equações que estimar o movimento do robô, recorrendo aos ângulos da pan and tilt unit (pescoço) e sabendo a distância em cada instante da câmara ao alvo a seguir. O desenvolvimento do software foi baseado numa plataforma modular que permite a criação de vários modos de funcionamento independentes (ROS). Para simular os movimento do humanóide com a intenção de testar o sistema de seguimento desenvolvido, foi utilizado um robô industrial Fanuc. Os resultados dos testes demonstraram que os algoritmos de visão por computador tem um bom desempenho face ao contexto da aplicação. O controlo de seguimento baseado em velocidade, é o melhor para obter um sistema de seguimento visual para robôs humanóides simples e fiàvel.

Assuming the existence of fixed characteristics on the scene, this work addresses the thesis that vision may play a major role in humanoids balance and navigation such as it plays in humans. The Project Humanoid of the University of Aveiro (PHUA) is used as a framework to evolve the thesis of this dissertation and all the mechanical components of the PHUA’s neck were rebuilt to guarantee a good infrastructure basis. Image processing and tracking algorithms were developed to find and track a fixed target on an image. Based on the image feedback, a neck’s tracking control algorithm was implemented to track the target. The information of the position of the neck may be further used to integrate with other sensor data aiming to improve the PHUA’s balance. Throughout the information of the angle of the pan and tilt servomotors and knowing the distance of the target, there were calculated the equations that translate the position of the pan and tilt unit in the world and therefore, the robot’s position. The software development is sustained by the Robot Operating System (ROS) framework following the philosophy of a modular and open-ended development. An industrial anthropomorphic robot was used to reproduce the humanoid movements in order to test the whole tracking and ego-motion system. The results showed that the computer vision algorithms present a satisfactory performance for the specific needs and the velocity control algorithm for the tracking system suits the best to accomplish a good and simple tracking system infrastructure in order to obtain the visual feedback for the humanoid.