Please use this identifier to cite or link to this item: http://hdl.handle.net/10773/29636
Title: Mobile robot navigation using reinforcement learning
Other Titles: Navegação de um robô móvel usando aprendizagem por reforço
Author: Silva, Diogo Vidal e
Advisor: Silva, Filipe Miguel Teixeira Pereira da
Santos, Vítor Manuel Ferreira dos
Keywords: Mobile Robot Navigation
Reinforcement Learning
Hierarchical Structure
Maze
Q-Learning
Maze-like Environment
Defense Date: Jul-2019
Abstract: There is a growing interest in the development of service and assistive robot technologies for application in domestic and urban environments. Among the required abilities are autonomous navigation and safety maintenance. Machine Learning provides a set of computational tools that have proved useful for robot navigation, such as neural networks, reinforcement learning and, more recently, end-to-end deep learning. This dissertation aims to investigate the problem of mobile robot navigation in a maze-like environment using a reinforcement learning framework. In particular, the work focuses on how to scale reinforcement learning, and Q-learning in particular, to a real-world problem using a physical robot. First, in order to avoid large state-action spaces and long horizons, the robot system is trained using a hierarchical approach in which low-level components (sub-tasks) are sequenced at a higher-level. Second, a dense reward function is designed for robot navigation in a corridor and moving around a corner, providing the robot with more information (prior knowledge) after each action. The experiments conducted, using a simulated and a real robot, show the feasibility of the hierarchical approach in reducing the complexity of the learning task and the role of the reward function in goal specification. Finally, the study provides detailed evaluation about transferring experience in simulation to the physical robot.
Há um interesse crescente no desenvolvimento de tecnologias de servi cós e robôs de assistência para aplicação em ambientes domésticos e urbanos. Entre as habilidades necessárias estão navegação autónoma e manutenção de segurança. O Machine Learning fornece um conjunto de ferramentas computacionais que se mostraram uteis para a navegação de robots, como redes neuronais, Reinforcement Learning e, mais recentemente, Deep Learning. Esta dissertação tem como objetivo investigar o problema da navegação de um robot móvel num labirinto utilizando Reinforcement Learning. Em particular, o trabalho concentra-se em dimensionar o Reinforcement Learning, e o Q-learning em particular, para um problema do mundo real usando um robot físico. Primeiro, para evitar grandes espaços de estado-ação, o sistema robótico é treinado usando uma abordagem hierárquica na qual componentes de baixo nível (sub-tarefas) são sequenciados num nível superior. Em segundo lugar, uma função de reward consistente é projetada para a navegação do robô num corredor e num canto, fornecendo ao robot mais informações (conhecimento prévio) após cada ação. As experiências conduzidas, utilizando um robot simulado e real, mostram a viabilidade da abordagem hierárquica reduzindo a complexidade da tarefa de aprendizagem e o papel da função de recompensa na especificação de um objetivo. Finalmente, o estudo providencia uma avaliação detalhada sobre a experiência transferida de simulação para o robô físico.
URI: http://hdl.handle.net/10773/29636
Appears in Collections:UA - Dissertações de mestrado
DETI - Dissertações de mestrado

Files in This Item:
File Description SizeFormat 
Documento_Diogo_Silva.pdf22.37 MBAdobe PDFView/Open


FacebookTwitterLinkedIn
Formato BibTex MendeleyEndnote Degois 

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.