Development of a robotic vision system with a modular architecture

Abstract

Vision systems are becoming a very active research area and rapidly changing with new applications arising more and more. Applications using image processing are getting common as time moves forward, and applications such as converting documents to text, cameras detecting faces and people smiling, object recognition among others are found in daily objects such as cameras and phones. With the development of vision systems, robotics is an area that can bene t a lot more from abilities such as object detection and information extraction such as object position and orientation. The purpose of this thesis is the development of a modular vision system to be used by the robotic soccer players of team CAMBADA, participant in the robocup Middle Size Leage (MSL). The modular vision system is also easily exported onto other robotic projects that possess vision, a way of seeing the world around them. The vision system will possess modules with speci cs tasks such as inage acquisition and object detection, visual debug and remote con guration of the inherent system parameters. The vision system will use the UAVision library to acquire images and information extraction. A remote application to interact and con gure the vision system was also developed using the Qt4 application programming interface. This remote application will interact with the server module of the modular vision system through the network using the transmission control protocol. In order to transfer images and parameters of the vision system a library was developed to handle the transmission control protocol using as base the POSIX sockets application programming interface. This library is used in the modular vision system server as well as in the remote application. The main objectives of this thesis have been accomplished and part of this work is already being used by the CAMBADA team.

Os sistemas de visão estão a tornar-se uma área de pesquisa bastante activa e de grande mudança com novas aplicações a aparecerem cada vez mais. Aplicações que usam processamento de imagem tornam-se cada vez mais comuns com o passar do tempo executando tarefas como converter documentos manuscritos para documentos digitais, fazer detecção ao de caras humanas e acções humanas como sorrir, reconhecimento de objectos específicos entre outras. Estes tipos de aplicações encontram-se em objectos do dia-a-dia como em câmaras e telemóveis. Com o desenvolvimento de sistemas de visão, a área da robótica pode beneficiar mais de capacidades como detecção de objectos e a sua posição. O objectivo desta tese e o desenvolvimento de um sistema de visão modular a ser usado nos jogadores robóticos da equipa CAMBADA, participantes na Liga de Tamanho Médio (MSL). O sistema de visão modular pode ser facilmente exportado para outros projectos de robótica que possuam visão, uma forma de ver o mundo que os rodeia. Este possuir a módulos com tarefas específicas como aquisição de imagem e detecção de objectos, depuramento visual e configuração remota dos parâmetros inerentes ao sistema. O sistema de visão usar a a biblioteca UAVision para aquirir imagens e extrair informação. Uma aplicação remota para interagir e configurar o sistema de visão foi também desenvolvido usando a interface de programação de aplicações Qt4. Esta aplicação remota ir a interagir com o modulo servidor do sistema de visão modular através da rede usando o protocolo de controle de transmissão. Para transferir images e parâmetros do sistema de visão foi desenvolvida uma biblioteca para lidar com o protocolo de controlo de transmissão usando como base a interface de programação de aplicações de sockets da POSIX. Esta biblioteca e usada no servidor do sistema de visão modular assim como na aplicação remota. Os objectivos principais desta tese foram cumpridos e parte deste trabalho encontra-se j a em uso pela equipa CAMBADA.