Please use this identifier to cite or link to this item:
http://hdl.handle.net/10773/29636
Title: | Mobile robot navigation using reinforcement learning |
Other Titles: | Navegação de um robô móvel usando aprendizagem por reforço |
Author: | Silva, Diogo Vidal e |
Advisor: | Silva, Filipe Miguel Teixeira Pereira da Santos, Vítor Manuel Ferreira dos |
Keywords: | Mobile Robot Navigation Reinforcement Learning Hierarchical Structure Maze Q-Learning Maze-like Environment |
Defense Date: | Jul-2019 |
Abstract: | There is a growing interest in the development of service and assistive robot
technologies for application in domestic and urban environments. Among
the required abilities are autonomous navigation and safety maintenance.
Machine Learning provides a set of computational tools that have proved
useful for robot navigation, such as neural networks, reinforcement learning
and, more recently, end-to-end deep learning. This dissertation aims
to investigate the problem of mobile robot navigation in a maze-like environment
using a reinforcement learning framework. In particular, the work
focuses on how to scale reinforcement learning, and Q-learning in particular,
to a real-world problem using a physical robot. First, in order to avoid
large state-action spaces and long horizons, the robot system is trained using
a hierarchical approach in which low-level components (sub-tasks) are
sequenced at a higher-level. Second, a dense reward function is designed for
robot navigation in a corridor and moving around a corner, providing the
robot with more information (prior knowledge) after each action. The experiments
conducted, using a simulated and a real robot, show the feasibility
of the hierarchical approach in reducing the complexity of the learning task
and the role of the reward function in goal specification. Finally, the study
provides detailed evaluation about transferring experience in simulation to
the physical robot. Há um interesse crescente no desenvolvimento de tecnologias de servi cós e robôs de assistência para aplicação em ambientes domésticos e urbanos. Entre as habilidades necessárias estão navegação autónoma e manutenção de segurança. O Machine Learning fornece um conjunto de ferramentas computacionais que se mostraram uteis para a navegação de robots, como redes neuronais, Reinforcement Learning e, mais recentemente, Deep Learning. Esta dissertação tem como objetivo investigar o problema da navegação de um robot móvel num labirinto utilizando Reinforcement Learning. Em particular, o trabalho concentra-se em dimensionar o Reinforcement Learning, e o Q-learning em particular, para um problema do mundo real usando um robot físico. Primeiro, para evitar grandes espaços de estado-ação, o sistema robótico é treinado usando uma abordagem hierárquica na qual componentes de baixo nível (sub-tarefas) são sequenciados num nível superior. Em segundo lugar, uma função de reward consistente é projetada para a navegação do robô num corredor e num canto, fornecendo ao robot mais informações (conhecimento prévio) após cada ação. As experiências conduzidas, utilizando um robot simulado e real, mostram a viabilidade da abordagem hierárquica reduzindo a complexidade da tarefa de aprendizagem e o papel da função de recompensa na especificação de um objetivo. Finalmente, o estudo providencia uma avaliação detalhada sobre a experiência transferida de simulação para o robô físico. |
URI: | http://hdl.handle.net/10773/29636 |
Appears in Collections: | UA - Dissertações de mestrado DETI - Dissertações de mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Documento_Diogo_Silva.pdf | 22.37 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.