Visual and inertial data integration to assist humanoid balance

Abstract

Esta dissertação aborda o problema que consiste na medição do movimento da cabeça de um robot humanóide fundindo dados inerciais e visuais, com o objetivo de obter o output que melhor descreve o movimento da cabeça do humanóide. O seu principal objectivo é perceber e desenvolver um algoritmo usando o Filtro de Kalman, que irá fundir ambas as fontes de dados com o propósito de obter uma nova fonte de informação com um maior grau de confiança. Para cumprir os objectivos, um modelo da cabeça do humanóide, juntamente com as câmaras e os sensores inerciais, vão ser movidos na ponta de um braço robótico industrial, que é usado como grupo de controle (ground truth) no que toca a posição angular. Pontos-chave nos frames obtidos através da câmara, são extra dos e usados para calcular a diferença na posição angular que ocorreu entre frames, que vão mais tarde, juntamente com os dados inerciais obtidos de giroscópios, servir de input a um modelo de um Filtro de Kalman. Uma vez que este dissertação assenta em ferramentas como o Filtro de Kalman, que tem como propósito unir dados de origens diferentes, é essencial que se conheçam os tipos de dados e ferramentas que irão ser utilizados. Assim, várias experiências foram desenvolvidas e estudadas com o intuito de desenvolver o conhecimento nessas matérias. Adicionalmente, erros foram acrescentados aos dados, artificialmente, com o objectivo de emular sensores sensíveis a ruído. No entanto, o sistema continua a ter uma performance positiva.

This thesis addresses the problem of measuring a humanoid robot head motion by merging inertial and visual data, in order to obtain an output that will describe the head motion of the robot. Its primary goal is the understanding and development of an algorithm using the Kalman Filter tool, which will merge inertial and visual data, resulting in a more reliable source of information. To accomplish this, a model of a humanoid robot head, including a camera and inertial sensors, are moved on the tip of an industrial robot's arm which is used as ground truth for angular position. Visual features are extracted from the camera images and used to calculate angular displacement and velocity of the camera, which is then merged with angular velocities from a gyroscope and fed into a Kalman Filter, in order to obtain an output. Since this thesis is expected to merge two di erent kinds of data using the Kalman Filter tool, the need to understand both types of data arises, as well as the way the Kalman Filter operates. Therefore, many experiments were developed and studied with the intent of deepening the knowledge on those matters. The results are quite interesting. Additionally, errors are introduced arti cially into the data to emulate noisy sensors, and the system still performs very well.