Object detection and recognition for robotic applications

Abstract

The computer vision assumes an important relevance in the development of robotic applications. In several applications, robots need to use vision to detect objects, a challenging and sometimes difficult task. This thesis is focused on the study and development of algorithms to be used in detection and identification of objects on digital images to be applied on robots that will be used in practice cases. Three problems are addressed: Detection and identification of decorative stones for textile industry; Detection of the ball in robotic soccer; Detection of objects in a service robot, that operates in a domestic environment. In each case, different methods are studied and applied, such as, Template Matching, Hough transform and visual descriptors (like SIFT and SURF). It was chosen the OpenCv library in order to use the data structures to image manipulation, as well as other structures for all information generated by the developed vision systems. Whenever possible, it was used the implementation of the described methods and have been developed new approaches, both in terms of pre-processing algorithms and in terms of modification of the source code in some used functions. Regarding the pre-processing algorithms, were used the Canny edge detector, contours detection, extraction of color information, among others. For the three problems, there are presented and discussed experimental results in order to evaluate the best method to apply in each case. The best method for each application is already integrated or in the process of integration in the described robots.

A visão por computador assume uma importante relevância no desenvolvimento de aplicações robóticas, na medida em que há robôs que precisam de usar a visão para detetar objetos, uma tarefa desafiadora e por vezes difícil. Esta dissertação foca-se no estudo e desenvolvimento de algoritmos para a deteção e identificação de objetos em imagem digital para aplicar em robôs que serão usados em casos práticos. São abordados três problemas: Deteção e identificação de pedras decorativas para a indústria têxtil; Deteção da bola em futebol robótico; Deteção de objetos num robô de serviço, que opera em ambiente doméstico. Para cada caso, diferentes métodos são estudados e aplicados, tais como, Template Matching, transformada de Hough e descritores visuais (como SIFT e SURF). Optou-se pela biblioteca OpenCv com vista a utilizar as suas estruturas de dados para manipulação de imagem, bem como as demais estruturas para toda a informação gerada pelos sistemas de visão desenvolvidos. Sempre que possivel utilizaram-se as implementações dos métodos descritos tendo sido desenvolvidas novas abordagens, quer em termos de algoritmos de preprocessamento quer em termos de alteração do código fonte das funções utilizadas. Como algoritmos de pre-processamento foram utilizados o detetor de arestas Canny, deteção de contornos, extração de informação de cor, entre outros. Para os três problemas, são apresentados e discutidos resultados experimentais, de forma a avaliar o melhor método a aplicar em cada caso. O melhor método em cada aplicação encontra-se já integrado ou em fase de integração dos robôs descritos.