Análise de cenas 3D com visão e laser

Abstract

Neste trabalho procurou-se construir um Sistema de Visão completo, em regime de funcionamento autónomo, que permitisse analisar e estruturar o ambiente circundante de um robot de manipulação, por forma a que ele pudesse proceder a uma dada tarefa de montagem. Para que tal fosse possível foi desenvolvido todo um conjunto de programas que a partir da imagem adquirida por uma câmara conseguisse obter os dados fundamentais sobre aquele ambiente: o número de objectos visíveis, a sua localização e orientação no espaço e finalmente a sua identidade. Só assim seria possível estabelecer um plano, constituído por acções elementares de manipulação, que permitisse atingir a referida montagem final. Para uma distribuição dispersa de objectos na cena, os primeiros dados referidos puderam ser obtidos por uma segmentação da imagem de intensidades binarizada e medida das características geométricas das figuras encontradas. A identificação foi também possível utilizando quer algumas das características medidas directamente quer grandezas compostas. Em alternativa a este processo de identificação foi desenvolvida uma abordagem alterada da Transformada de Hough. Este novo processo que efectua a descrição de segmentos de fronteira dos objectos, em oposição à análise anterior da superfície, é um desenvolvimento melhorado da Transformada de Hough Clássica e é particularmente eficiente quando se possui imagens com ruído. Ela pode também ser utilizada em alguns casos de oclusão parcial, situação para a qual não pode ser utilizada o primeiro tipo de análise apresentado. Foi ainda incluído um algoritmo de pós-processamento que evita a determinação de um limiar de aceitação das células na tabela de acumulação assim como procedimentos de salientação de máximos. Uma vez conseguida uma lista completa de todos os segmentos existentes na imagem, eles são agrupados por objecto e sequenciados. Para cada conjunto são então determinados os vértices que permitem extrapolar os segmentos para o seu verdadeiro comprimento. São ainda calculados todos os ângulos internos formados pelos segmentos. Os valores de comprimento e ângulo alternados definem códigos que caracterizam os objectos. Quando comparados com códigos semelhantes referentes a modelos, registados em bases de dados, eles permitem obter a identidade dos objectos. Quando ocorrem oclusões parciais ou mesmo totais, este processo pode não permitir obter a identidade de ambos os objectos, enquanto que o primeiro apresentado é totalmente inadequado. Para estes casos foi desenvolvido um outro processo a 3D que se baseia na análise dos histogramas 3D extraídos de imagens de distância. Para que tal fosse possível foi construído um sistema de varrimento laser que mede a altura a que vários pontos de cena se encontram da base de suporte, com várias resoluções. Para varrimentos na resolução máxima e utilizando vários filtros é então possível obter imagens de distância nas quais todos os pontos da imagem possuem uma altura associada que é codificada em nível de cinzento. Após uma segmentação primária é possível construir histogramas 3D, que, no caso dos objectos em estado de sobreposição obedecerem a certas condições, permitem a sua separação. Utilizando valores numéricos resultantes da parametrização daqueles histogramas 3D é ainda possível obter a identificação do objecto superior, após comparação com os registados previamente num ficheiro de modelos.

Cette Thèse cherche à construire un système de Vision complet, sous un régime de fonctionnement autonome, permettant d´analyser et structurer l´ambiance environnante d´un robot de manipulation pour l´accomplissement d´une tâche de montage. Afin que ça soit possible, tout un ensemble de programmes a été développé à partir de l´image obtenue par une caméra pour arriver à atteindre les donnés fondamentales concernants cette ambiance-lá: le nombre d´objets visibles, leur localisation et orientation dans l´espace et finalement leur identité. À ce compte-lá ce serait possible d´etablir un planning, constitué par des actions élémentaires de manipulation, qui permettait d´acomplir la sus-dite montage finale. Pour une distribution dispersive des objets en scène, les premières données citées ont été obtenues par une segmentation de l´image d´intensité rendue binaire et mesurée des caractéristiques géometriques des figures trouvées. L´identification a été aussi possible grâce à l´utilisation soit de quelques caractéristiques mésurées directement soit des grandeurs composées. Une abordage modifiée de la Transformée de Hough a été développée comme alternative à ce procédé d´identification. Ce nouveau processus qui fait la description de segments de frontières des objets, en opposition à l´analyse précedente de la surface, c´est un développement perfectionné de la Transformée de Hough classique et il est particulièrement efficace quand on a des images avec du bruit. Elle peut étre utilisée davantage dans certains cas d´occlusion partiale, situation dans laquelle on ne peut pas faire l´usage du premier genre d´analyse presenté. On a encore ajouté un algorithme de post-instruction d´un procès qui évite la détermination d´un seuil d´acceptation des cellulles dans le tableau d´accumulation de même que des procédures de distinction de maximums. Ayant accomplie une liste complète de tous les segments existants dans l´image, ils son regroupés objet par objet et séquencés. Pour chaque ensemble, les sommets qui permettent d´extrapoler les segments pour leur longueur réelle sont allors déterminés. En autre, les angles internes formés par les segments sont encore chiffrés. Les valeurs de longueur et d´angle tour à tour déterminent des codes qui caractérisent les objets. Alors qu´elles sont comparées à des codes similaires concernants des modèles enregistrés dans des bases de données, elles permettent d´obtenir l´identité des objets. Quand il y a des occlusions partiales ou même entières, ca procédé risque ne pas permettre d´atteindre l´identité de tous les deux tandis que le premier cas présenté en haut est inadéquat. Pour faire face à ces cas-là un autre processus à 3D a été développé, qui se fonde sur l´analyse des histogrammes 3D issues des images d´écartement. Afin que cela soit possible, on a construit un système de balayage laser qui mesure la hauteur de plusieurs points de scène par rapport à la plaque d´appui, ayant de différentes résolutions. Pour des balayages concernants une résolution au maximum, en se servant d´un ensemble de filtres, il est done possible d´obtenir des images d´écartement dans lesquelles tous les points de l´image ont une hauter associée qui est codifiée en niveau gris. Après une segmentation primaire il est possible de construire des histogrammes 3D qui permettent leur classement si les objets superposés sont soumis à certaines conditions. En utilisant des valeurs numériques, résultantes du paramétrage des histogrammes-lá 3D, on peut obtenir encore l´identification de l´objet supérieur aprés la comparaison avec ceux qui ont été enregistrés préalablement dans un fichier de modèles.

In this work, a complete and autonomous Vision System has been built, which by itself analyses the surrounding environment of a robot, so that a certain predifined assembly task may take place. A complete set of computer programs have been written that, after processing an image acquired by a camera, manages to obtain some important data about that environment: the number of visible objects, their location and orientation in space, and finally, their identity. Only in possession of those results, a plan consisting of elementary robotic actions could be drawn, which led to a final assembly. For images in which all the objects are separate, the above mentioned data were computed by segmenting the thresholded intensity image, achieved by scanning it and measuring geometrical features of all found blobs. Identification was also possible either by using those directly measured features or by using composite features. Alternatively, another algorithm has been developed for identification, based on the Hough Transform. This new process that detects and measures all the segments present in the image, in opposition to the previous approach which analyses area, consists of an improved version of the classical Hough Transform and is particularly efficient in the case of noisy images. It may also be used in cases of object partial occlusion, situation in which the first analysis is useless. A post-processing algorithm has also been added to it which avoids choosing a threshold level for the accumulator array as well as peak enhancement procedures. Once a complete list of segments in the image is obtained, these are conveniently grouped and chained sequentially. For each group associated to an object, vertice coordinates are computed in order to extrapolate the segments to their real extent. Internal angles are also computed. The alternate values of length and angle define chain codes which after matching to similar chain codes associated to object models and previously stored in a models database, permit achieving the object identity. Whenever partial or even complete occlusion occurs, this approach may not be able to recognise the objects, while the first one presented is completely inadequate. For those cases, then, another algorithm has been developed based on the 3D histograms built from range images. In order to get them, a special scanning laser system has been designed and built, which measures the height of points in the scene, for several resolutions. If the maximum resolution is used, a set of image filters can be applied in order to finally get the range image. In those images, every single point has got a height associated with it which is stored as a grey-level value. After a first segmentation, 3D histograms for all objects are built. When the objects is the situation of partial occlusion meet certain conditions, data belonging to each one of them can be separated. Under those conditions, numerical values obtained by parameterizing the 3D histograms, may be used for object identification: if similar values belonging to object models are previously stored in a models database, then, they can be matched with those obtained for each detected object.