Aprendizagem automática aplicada à condução de um veículo com direção Ackermann

Abstract

Nos últimos anos, tem havido um grande crescimento na área da Inteligência Artificial, principalmente por causa da aprendizagem automática. Esse crescimento é devido ao maior poder de processamento dos computadores atuais, o que permite a implementação de algoritmos já projetados, e à pesquisa e desenvolvimento de novos algoritmos. Esses algoritmos permitem a execução de tarefas difíceis de descrever diretamente pelos programadores. A aprendizagem é baseada em conjuntos de dados criados por seres humanos ou pelos próprios algoritmos, usando uma abordagem de tentativa e erro. A condução autónoma é uma das áreas em que os algoritmos de aprendizagem automática têm sido utilizados, com muitos dos avanços nessa área sendo resultado do seu uso. O ROTA é um veículo robótico de pequenas dimensões usado para investigação e ensino de algoritmos de condução autónoma, que participa no Festival Nacional de Robótica. O cenário de atuação do veículo corresponde a uma pista com semelhanças marcantes a uma estrada convencional, contendo obstáculos, sinais de trânsito e zonas de estacionamento. Até ao início desta dissertação, as várias tarefas que o veículo tinha que autonomamente realizar eram codificadas diretamente pelo programador. O objetivo desta dissertação foi o de aplicar aprendizagem automática na implementação do módulo de condução, responsável por manter o veículo dentro da faixa de rodagem. Pretendia-se a aplicação de técnicas de aprendizagem supervisionada e de aprendizagem por reforço. Para a aprendizagem supervisionada, optou-se por uma rede neuronal convolucional, tendo como entrada uma região de interesse da imagem da estrada captada por uma câmara montada na parte frontal do veículo e como saída a velocidade angular a aplicar para controlo do movimento. O conjunto de dados de treino foi obtido controlando manualmente o movimento do veículo com a ajuda de um comando e armazenando as imagens captadas pela câmara e as velocidades angulares dadas pelo humano. A recolha foi realizada num ambiente de simulação do veículo e da pista já existente. A rede treinada mostrou um bom desempenho quer no ambiente de simulação, quer com o veículo real na pista real durante o Robotica 2018. Para a aprendizagem por reforço, escolheram-se dois algoritmos: o DDQN e o DDPG. Para treinar estes algoritmos foi necessário proceder a alterações no ambiente de simulação de modo a permitir a interação. Os vários algoritmos desenvolvidos foram avaliados, fazendo-se uma análise comparativa. Os resultados alcançados com o algoritmo DDQN foram melhores que os alcançados com o DDPG, tendo sido possível conduzir no ambiente de simulaç ão, embora com algumas oscilações e saídas parciais de pista.

In the last years, there has been a great increase in the area of Artificial Intelligence, mostly because of Machine Learning. This growth is due to higher processing power of current computers, which allows the implementation of already designed algorithms, and to the research and development of new ones. These algorithms allow the execution of tasks difficult to describe directly by programmers. Learning is based on data sets created by humans, or by the algorithms themselves, using a trial and error approach. Autonomous driving is one of the areas where machine learning algorithms have been used, with many of the advances in this area being a result of its use. The ROTA is a small robotic vehicle used in research and teaching of autonomous driving algorithms, that participates in the Portuguese Robotics Open. The competing scenario corresponds to a track with strong similarities to a conventional road, containing obstacles, traffic signs and parking areas. Until the beginning of this dissertation, the various tasks that the vehicle had to carry out were coded directly by the programmer. The objective of this dissertation was to apply deep learning tecniques in the implementation of the driving module, responsible for keeping the vehicle within the lane. The aim was to apply both supervised learning and reinforcement learning techniques. For supervised learning, a convolutional neural network was chosen, having as input a region of interest of the road image captured by a camera mounted on the front of the vehicle and as output the angular velocity to be applied to control the movement. The training data set was obtained by manually controlling the movement of the vehicle with the help of a command and storing the images captured by the camera and the angular velocities given by the human. The data gathering was performed in already existing simulation environment of the vehicle and track. The trained network showed a good performance both in the simulation environment and with the real vehicle on the real track during Robotica 2018. For reinforcement learning, two algorithms were chosen: DDQN and DDPG. To train these algorithms it was necessary to make changes in the simulation environment in order to allow interaction. The various algorithms developed were evaluated and a comparative analysis is presented. The results achieved using the DDQN algorithm were better than those achieved with DDPG, and it was possible to drive in the simulation environment despite of some oscillations and partially exiting the lane a few times.