Please use this identifier to cite or link to this item:
http://hdl.handle.net/10773/30482
Title: | Project i-RoCS: dirt detection system based on computer vision |
Other Titles: | Projeto i-RoCS: sistema de deteção de sujidade baseada em visão por computador |
Author: | Carapinha, Rui Filipe Santos |
Advisor: | Neves, António José Ribeiro Fonseca, Pedro Nicolau Faria da |
Keywords: | Template matching Robotics ROS Computer vision Dirt detection OpenCV Camera calibration Saliency Deep learning |
Defense Date: | 30-Jul-2020 |
Abstract: | The ultimate goal of the i-RoCs project is to provide an e cient automatic
robotic solution to clean industrial
oors. The solution will integrate stateof-
art computer vision algorithms for the navigation of the robot and for
the monitoring of the cleaning process. Industrial
oor cleaning is one of
the most important tasks for the security of the personnel in a factory.
In the worst case, a damaged/slippery
oor can lead to the most various
accidents. This is the main reason why the most advanced technologies
should be involved in this area. In this thesis we pretend to give a step
towards that goal.
Digital cameras with the proper use and the proper algorithms can be one
of the most rich sensors that can be used in the industrial environment
due to the information they can capture. This information is a conversion
of the real world into digital information that can be further processed.
From this information, low-level computer vision algorithms can detect a
lot of features from an image such as colors, lines, blobs, contours, edges,
patterns, among others.
In this thesis, we give an introduction of state-of-art technology to the
cleaning task in a factory. For that purpose, we present a study about the
implementation of cameras and digital image processing to detect dirt in
industrial
oors. We propose a method for automatic calibration of the
camera parameters to tackle the di cult environment that can be found
inside factories in terms of the light conditions.
We developed algorithms for extraction of low-level characteristics to be
used in the detection of dirt that obtained promising results in terms of
detection results. However, they are not satisfactory in terms of performance
if we consider them to be applied in real time on a mobile robot.
The last step was the implementation of Deep Learning, one of the most
promising technologies of the past few years used in image processing. This
proposed solution is a segmentation network followed by a regression network.
The segmentation will classify the several types of patterns existing
on the ground and the regression will output the level of dirtiness of each
area. O objectivo final do projecto i-RoCs é fornecer uma solução robótica automática e eficiente para a limpeza de pavimentos industriais. A solução integrará algoritmos de visão por computador de última geração para a navegação do robô e para a monitorização do processo de limpeza. A limpeza de superfícies industriais é uma das tarefas mais importantes para a segurança do pessoal de uma fábrica. No pior dos casos, um piso danificado/escorregadio pode levar aos mais variados acidentes. Esta é a principal razão pela qual as tecnologias mais avançadas devem estar envolvidas nesta área. Nesta tese é dado um passo nesse sentido. As câmaras digitais com o uso adequado e os algoritmos adequados podem ser um dos sensores mais ricos que podem ser utilizados no ambiente industrial devido à informação que podem captar. Esta informação é uma conversão do mundo real em informação digital que pode ser processada posteriormente. A partir desta informação os algoritmos de baixo nível de visão por computador podem detectar muitas características tais como cores, linhas, formas, contornos, bordas, entre outros. Nesta tese, é feita uma introdução de tecnologia de ponta para a tarefa de limpeza de uma fábrica. Para tal, apresentamos um estudo sobre a implementação de câmaras e processamento digital de imagem para detetar sujidade em pavimentos industriais. É proposto um método de calibração automática dos parâmetros da câmara para enfrentar o ambiente difícil que pode ser encontrado dentro das fábricas em termos das condições de luz. Desenvolvemos algoritmos de extracção de características de baixo nível a utilizar na deteção de sujidade que obtiveram bons resultados em termos de detecção. No entanto, não são satisfatórios em termos de desempenho se considerarmos que serão aplicados num robô móvel. O último passo foi a implementação de algoritmos baseados no Deep Learning, uma das tecnologias mais promissoras dos últimos anos, utilizada no processamento de imagens. Esta solução proposta é uma rede de segmentação seguida de uma rede de regressão. A segmentação irá classificar os vários tipos de padrões existentes no terreno e a regressão irá produzir o nível de sujidade de cada área. |
URI: | http://hdl.handle.net/10773/30482 |
Appears in Collections: | UA - Dissertações de mestrado DETI - Dissertações de mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Documento_Rui_Filipe_Santos_Carapinha.pdf | 161.72 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.