Object recognition for semantic robot vision

Abstract

Reconhecer todos os objectos presentes numa qualquer imagem do dia-a-dia será um importante contributo para a compreensão autónoma de imagens. Um agente inteligente para perceber todas as dinâmicas do conteúdo semântico precisa primeiramente de reconhecer cada objecto na cena. Contudo, a aprendizagem e o reconhecimento de objectos sem supervisão, con- tinuam a ser um dos grandes desafios na área da visão robótica. O nosso trabalho é uma abordagem transversal a este problema. Nós construímos um agente capaz de localizar, numa cena complexa, instâncias de categorias previamente requisitadas. Com o nome da categoria o agente procura autonomamente imagens representativas da categoria na Internet. Com estas imagens aprende sem supervisão a aparência da categoria. Após a fase de aprendizagem, o agente procura instâncias da categoria numa fotografia estática do cenário. Esta dissertação é orientada á detecção e ao reconhecimento de objectos numa cena complexa. São usados dois modelos para descrever os objectos: Scale Invariant Feature Transform (SIFT) e o descritor de forma proposto por Deb Kumar Roy. Para localizar diferentes objectos de interesse na cena efectuamos segmentação de cena baseada nas saliências de cor. Após localizado, extraímos o objecto da imagem através da análise dos seus contornos, para finalmente reconhece-lo através da combinação de vários métodos de classificação.

ABSTRACT: Recognizing objects in an everyday scene is a major step in unsupervised image understanding. An intelligent agent needs to first identify each object in an environment scene, so it could eventually understand all the dynamics of the semantic content. However, unsupervised learning and unsupervised object recognition remains a great challenge in the vision research area. Our work is a transverse approach in unsupervised object learning and object recognition. We built an agent capable of locating, in a complex scene, an instance of a requested category. The name of a category is uploaded to the agent's system and it autonomously learns the category appearance, by searching the Internet and looking for category examples. Then it explores a static picture of the surrounding environment, looking for an instance of the previously learned category. This dissertation focus on the object detection and object recognition in a complex picture scene. We use Scale Invariant Feature Transform (SIFT) and Roy's Shape Representation (RSR) to represent an object, and an ensemble of several classification techniques to recognize an object. To obtain the object's location on the complex scene we used scene segmentation, based on image colour saliencies, and object extraction based on contour analysis.