Time-constrained colored object detection for intelligent robots

Abstract

Object detection in digital images with small computational costs and processing time is a necessity of some of the most diverse domains, such as: robotics, video surveillance or traffic analysis, among others. With current advances in technology and the decrease of prices in image sensors and video cameras, nowadays digital cameras can acquire images at high resolutions and frame rates. This means that a great amount of visual information has to be processed in a small amount of time. This Ph.D. addresses the problem of time-constrained detection of colored objects and uses as a test bed intelligent robots that play soccer in an autonomous manner. This work is integrated in the Intelligent Robotics and Systems Laboratory from the Institute of Electronics and Informatics Engineering of Aveiro of University of Aveiro. The autonomous robotic soccer team CAMBADA was the test bed of all the work developed during this Ph.D. The objective was to present a modular solution of a vision system that could be used for time-constrained color detection in the aforementioned robotic project. Algorithms for colormetric camera calibration, optimal image scanning and colored blob formation have been designed and based on them functional robotic vision systems have been developed. These vision systems have been used in real adversarial soccer scenarios and the results obtained prove their efficiency. Moreover, all the developed algorithms and software have been aggregated within a computer vision library, which is both free and open source and designed for time-constrained colored object detection. In addition, several support tools have been implemented as well, as tools for remote monitoring or color calibration of a robotic vision system.

A detecção de objetos em imagem digital com baixo custo computacional e tempo de processamento é uma necessidade de várias áreas de investigação, como por exemplo: robótica, vigilância por vídeo ou análise de trânsito. Com os mais recentes avanços da tecnologia e o decréscimo nos preços dos sensores e das câmaras digitais, hoje em dia as câmaras podem adquirir imagens com resoluções e taxas de aquisição bastante elevadas. Isso significa que uma grande quantidade de informação tem que ser processada num intervalo de tempo muito curto. Este trabalho de doutoramento está focado no problema da detecção de objetos coloridos, com restrições temporais, e usa como plataforma de teste robôs inteligentes que jogam futebol de uma forma autónoma. O trabalho está integrado no laboratório de Robôs e Sistemas Inteligentes do Instituto de Engenharia Electrónica e Informática da Universidade de Aveiro. A equipa de futebol robótico CAMBADA foi utilizada como plataforma de teste de todo o trabalho desenvolvido neste doutoramento. O objetivo era apresentar uma solução modular para um sistema de visão que pudesse ser usado pelos robôs da equipa CAMBADA para detecção de objetos coloridos, com restrições temporais. Foram desenvolvidos algoritmos para a calibração colormetrica da câmara, optimização da pesquisa numa imagem e formação de manchas de cor e com base neles construiram-se sistemas de visão que pudessem ser usados pelos mesmos robôs. Estes sistemas de visão foram usados em ambientes competitivos de futebol robótico e os resultados obtidos provam a sua eficiência. Além disso, todos os algoritmos e software desenvolvidos foram agregados numa biblioteca de visão por computador, de acesso livre e sem custos, que fora desenvolvida para a detecção com restrições temporais de objetos coloridos. Foram desenvolvidas também várias ferramentas para a monitorização remota e a calibração de um sistema de visão robótico.