Mobile robot navigation using reinforcement learning

Abstract

There is a growing interest in the development of service and assistive robot technologies for application in domestic and urban environments. Among the required abilities are autonomous navigation and safety maintenance. Machine Learning provides a set of computational tools that have proved useful for robot navigation, such as neural networks, reinforcement learning and, more recently, end-to-end deep learning. This dissertation aims to investigate the problem of mobile robot navigation in a maze-like environment using a reinforcement learning framework. In particular, the work focuses on how to scale reinforcement learning, and Q-learning in particular, to a real-world problem using a physical robot. First, in order to avoid large state-action spaces and long horizons, the robot system is trained using a hierarchical approach in which low-level components (sub-tasks) are sequenced at a higher-level. Second, a dense reward function is designed for robot navigation in a corridor and moving around a corner, providing the robot with more information (prior knowledge) after each action. The experiments conducted, using a simulated and a real robot, show the feasibility of the hierarchical approach in reducing the complexity of the learning task and the role of the reward function in goal specification. Finally, the study provides detailed evaluation about transferring experience in simulation to the physical robot.

Há um interesse crescente no desenvolvimento de tecnologias de servi cós e robôs de assistência para aplicação em ambientes domésticos e urbanos. Entre as habilidades necessárias estão navegação autónoma e manutenção de segurança. O Machine Learning fornece um conjunto de ferramentas computacionais que se mostraram uteis para a navegação de robots, como redes neuronais, Reinforcement Learning e, mais recentemente, Deep Learning. Esta dissertação tem como objetivo investigar o problema da navegação de um robot móvel num labirinto utilizando Reinforcement Learning. Em particular, o trabalho concentra-se em dimensionar o Reinforcement Learning, e o Q-learning em particular, para um problema do mundo real usando um robot físico. Primeiro, para evitar grandes espaços de estado-ação, o sistema robótico é treinado usando uma abordagem hierárquica na qual componentes de baixo nível (sub-tarefas) são sequenciados num nível superior. Em segundo lugar, uma função de reward consistente é projetada para a navegação do robô num corredor e num canto, fornecendo ao robot mais informações (conhecimento prévio) após cada ação. As experiências conduzidas, utilizando um robot simulado e real, mostram a viabilidade da abordagem hierárquica reduzindo a complexidade da tarefa de aprendizagem e o papel da função de recompensa na especificação de um objetivo. Finalmente, o estudo providencia uma avaliação detalhada sobre a experiência transferida de simulação para o robô físico.