Project i-RoCS: dirt detection system based on computer vision

Abstract

The ultimate goal of the i-RoCs project is to provide an e cient automatic robotic solution to clean industrial oors. The solution will integrate stateof- art computer vision algorithms for the navigation of the robot and for the monitoring of the cleaning process. Industrial oor cleaning is one of the most important tasks for the security of the personnel in a factory. In the worst case, a damaged/slippery oor can lead to the most various accidents. This is the main reason why the most advanced technologies should be involved in this area. In this thesis we pretend to give a step towards that goal. Digital cameras with the proper use and the proper algorithms can be one of the most rich sensors that can be used in the industrial environment due to the information they can capture. This information is a conversion of the real world into digital information that can be further processed. From this information, low-level computer vision algorithms can detect a lot of features from an image such as colors, lines, blobs, contours, edges, patterns, among others. In this thesis, we give an introduction of state-of-art technology to the cleaning task in a factory. For that purpose, we present a study about the implementation of cameras and digital image processing to detect dirt in industrial oors. We propose a method for automatic calibration of the camera parameters to tackle the di cult environment that can be found inside factories in terms of the light conditions. We developed algorithms for extraction of low-level characteristics to be used in the detection of dirt that obtained promising results in terms of detection results. However, they are not satisfactory in terms of performance if we consider them to be applied in real time on a mobile robot. The last step was the implementation of Deep Learning, one of the most promising technologies of the past few years used in image processing. This proposed solution is a segmentation network followed by a regression network. The segmentation will classify the several types of patterns existing on the ground and the regression will output the level of dirtiness of each area.

O objectivo final do projecto i-RoCs é fornecer uma solução robótica automática e eficiente para a limpeza de pavimentos industriais. A solução integrará algoritmos de visão por computador de última geração para a navegação do robô e para a monitorização do processo de limpeza. A limpeza de superfícies industriais é uma das tarefas mais importantes para a segurança do pessoal de uma fábrica. No pior dos casos, um piso danificado/escorregadio pode levar aos mais variados acidentes. Esta é a principal razão pela qual as tecnologias mais avançadas devem estar envolvidas nesta área. Nesta tese é dado um passo nesse sentido. As câmaras digitais com o uso adequado e os algoritmos adequados podem ser um dos sensores mais ricos que podem ser utilizados no ambiente industrial devido à informação que podem captar. Esta informação é uma conversão do mundo real em informação digital que pode ser processada posteriormente. A partir desta informação os algoritmos de baixo nível de visão por computador podem detectar muitas características tais como cores, linhas, formas, contornos, bordas, entre outros. Nesta tese, é feita uma introdução de tecnologia de ponta para a tarefa de limpeza de uma fábrica. Para tal, apresentamos um estudo sobre a implementação de câmaras e processamento digital de imagem para detetar sujidade em pavimentos industriais. É proposto um método de calibração automática dos parâmetros da câmara para enfrentar o ambiente difícil que pode ser encontrado dentro das fábricas em termos das condições de luz. Desenvolvemos algoritmos de extracção de características de baixo nível a utilizar na deteção de sujidade que obtiveram bons resultados em termos de detecção. No entanto, não são satisfatórios em termos de desempenho se considerarmos que serão aplicados num robô móvel. O último passo foi a implementação de algoritmos baseados no Deep Learning, uma das tecnologias mais promissoras dos últimos anos, utilizada no processamento de imagens. Esta solução proposta é uma rede de segmentação seguida de uma rede de regressão. A segmentação irá classificar os vários tipos de padrões existentes no terreno e a regressão irá produzir o nível de sujidade de cada área.