Concepção e desenvolvimento de pequenos robôs para auto-aprendizagem

Abstract

O objectivo principal deste trabalho foi o de projectar, desenvolver e testar pequenos robôs autónomos orientados para aprendizagem de comportamentos de locomoção. O projecto preconizou também uma abordagem modular para possibilitar a adição de novos dispositivos. Embora os robôs desenvolvidos possam ser programados com vários métodos de aprendizagem, a opção escolhida foi a de usar aprendizagem por reinforcement learning, que é um tipo de aprendizagem não supervisionada. Neste tipo de aprendizagem é o robô que avalia o resultado das acções que executa; da avaliação resulta uma “recompensa”, que pode ser positiva ou negativa, consoante o resultado da acção. Para um robô avaliar as acções que executa deve estar dotado de dispositivos que permitam a obtenção de informação sobre o ambiente que o rodeia. Uma grande parte dos pequenos robôs autónomos comuns possui apenas sensores de distância, sensores de movimento e alguns câmaras digitais para aquisição de imagens, entre outros dispositivos. No entanto, são menos comuns os que possuem redundância sensorial e sensores de contacto, e isso foi levado em consideração no desenvolvimento destes robôs. Nestas condições, um robô deve experimentar o maior número possível de acções, para poder aprender qual a melhor opção que deve executar perante cada situação. Isto implica que o robô possa entrar em contacto físico com o ambiente em que se encontra. Nesse sentido, procurou-se também projectar robôs robustos. Para os testes de aprendizagem, os robôs foram programados com o método de aprendizagem SARSA (State-Action-Reward-State-Action), tendo-se fixado o objectivo de navegar num dado ambiente sem colidir. Os resultados foram bastante satisfatórios, tendo-se concluído que os robôs aprenderam de facto a movimentarem-se sem colidir. Embora tenha havido casos em que a percepção dos robôs poderia corresponder a diferentes situações de ambiente circundante, e que em alguns casos condicionou a aprendizagem, os objectivos de robustez e capacidade de aprendizagem foram alcançados. O trabalho deixou em aberto inúmeras possibilidades de desenvolvimento futuros na área da aprendizagem robótica.

ABSTRACT: The main goal of this project was to design, develop and test small autonomous robots managed to learn movement behaviors. The project also professed an modular approach to allow the addition of new devices. Although the developed robots can be programmed with many learning methods, the chosen option was using reinforcement learning, which is unsupervised learning method. In this learning method it is the robot who evaluates the result of the executed actions; from the evaluation results a “reward”, that can be positive or negative, according to the result of the action. For a robot evaluate it’s executed actions it must be outfitted with devices that allows the obtainment of information of the surrounding environment. Most of the common small autonomous robots only possesses distance sensors, movement sensors, and some digital cameras for image acquisition, among other devices. However, fewer are those who have sensorial redundancy and contact sensors, and that was held in consideration in the development of this robots. In these conditions, a robot should experiment every possible actions to be able to learn which is the best action it must take for every situation. Which means the robot may have physical contact with the surrounding environment. In that line of though it was also attempted to design robust robots. For the learning tests, the robots were programmed with the SARSA (State-Action-Reward-State-Action) learning method, in which he main goal was to wander in an environment without any colliding. The results were quite good, which leaded to the conclusion that the robots learned to wander in an environment without colliding. Although, had been cases in which the perception of the robots could match to different situations of the surrounding environment, and that in some cases compromised the robots’s learning, the main goals of strength and learning capability were achieved. This project left open many future developments in the area of learning in robotics.