Robotic soccer: behaviors for simulated humanoid robots

Abstract

This dissertation was focused on the improvement of the goalkeeper of the FC Portugal 3D team, participant in the RoboCup 3D Soccer Simulation league. All the experiments during this work were undertaken within the league environment. This competition consists on a virtual soccer match between simulated humanoid robots. A soccer goalkeeper has as its primary mission keeping his goal clear. To accomplish that goal, he needs to save every shot targeted to its goal and that can be a very difficult challenge. The challenge of saving a shot can be divided into two different tasks: predicting the ball movement and intersecting the ball trajectory. During this work, the primary objective is the application of machine learning and reinforcement learning techniques to solve these problems. Predicting the ball movement is a matter of replicating the environment physics. So, a ball position estimator was developed following a supervised machine learning approach. Although this estimator was initially developed thinking mainly on the goalkeeper, it can also be very useful for the field players. A precise ball estimator opens the door for behaviors capable of interacting with the ball while it is moving, which is rare at the current state of the league. Intersecting the ball trajectory and saving the shots was accomplished by a generic behavior developed with a Deep Reinforcement Learning approach. This generic behavior is capable of saving different types of shots: shots coming from different positions of the field and different 3D initial velocities. The new behavior was tested and evaluated in comparison with the previous version of the goalkeeper and achieved indisputable better results. This was a huge achievement because the previous version of the goalkeeper was composed by thirteen different behaviors and a selection algorithm and it was outperformed and replaced by only one behavior.

Esta dissertação foi dedicada à melhoria do guarda-redes da equipa FC Portugal 3D, participante da liga RoboCup 3D Soccer Simulation. Por esta razão, todas as experiências feitas durante este trabalho foram desenvolvidas no ambiente da competição. Esta competição consiste num jogo virtual de futebol entre robôs humanoides simulados. Um guarda-redes de futebol tem como principal missão não sofrer golos. Para atingir esse objetivo, precisa de ser capaz de defender qualquer remate à baliza e isso é bastante difícil. Defender um remate pode ser dividido em duas partes: prever a trajetória da bola e interseção dessa trajetória. Durante este trabalho, o principal objetivo é a utilização de técnicas de aprendizagem automática e aprendizagem por reforço para resolução destes desafios. Para prever a trajetória da bola é necessário replicar as físicas do ambiente. Por essa razão, um estimador da posição da bola foi desenvolvido seguindo uma abordagem de aprendizagem automática supervisionada. Embora este estimador tenha sido inicialmente pensado principalmente para o guarda-redes, também pode ser bastante útil para os jogadores de campo. Um estimador da posição da bola preciso, permite o desenvolvimento de comportamentos capazes de interagir com a bola em movimento, algo que é raro no atual estado da liga. Intersetar a trajetória da bola e defender os remates foi conseguido por um comportamento genérico desenvolvido com uma abordagem de Aprendizagem por Reforço Profunda. Este comportamento genérico é capaz de defender diferentes tipos de remates: remates provenientes de diferentes regiões do campo e com diferentes velocidades 3D. O novo comportamento foi testado e comparado à versão anterior do guarda-redes e obteve melhores resultados. Esta foi uma grande conquista já que a versão anterior do guarda-redes era composta por treze comportamentos diferentes e um algoritmo de seleção e foi substituída por apenas um comportamento com melhores resultados.