Entertainment robot for catching a flying ball

Abstract

A Interação Humano-Robô (IHR) surge hoje como uma parte importante e desafiadora da robótica, requerendo tecnologia sofisticada e lidando com importantes aspectos de segurança. Em consonância com isso, a IHR pode ser usado para testar e avaliar tecnologias robóticas avançadas. A tarefa de apanhar uma bola em voo por um sistema robótico pode ser utilizada para avaliação sistemática de sistemas de visão e braços robóticos, quer individualmente quer de forma integrada. A realização deste jogo entre um humano e um robô é um exemplo de uma forma de interação segura que não envolva contato físico. O objetivo principal desta tese está centrado no estudo de um cenário para a realização da tarefa de apanhar um bola em voo usando tecnologia comercial. Na prossecução deste objectivo, são abordados três problemas principais: (1) o desenvolvimento de um sistema de visão para a detecção e seguimento da bola usando um sensor Kinect, (2) a aplicação de algoritmos capazes de fornecerem uma estimativa precisa da trajetória da bola em voo, e (3) o controlo do braço robótico que permita a intercepção da bola. O desenvolvimento da arquitectura software é suportado pelo Robot Operating System (ROS) baseado numa plataforma open-source de arquitetura distribuída. Foram realizados vários testes experimentais para validar as soluções propostas e avaliar o desempenho do sistema em diferentes situações. O teste de viabilidade do trabalho proposto foi realizado com base na simulação do sistema completo tilizando dados pré-gravados do sensor Kinect.

Human-Robot Interaction (HRI) is now an important and challenging part of robotics as it requires high accuracy and sophisticated technology, along with safety as the first and fore-most aspect. In line with this, HRI can be used for testing and evaluating advanced robotic technologies. Ball catching by a robotic system is one such task that can be used for systematic evaluation of vision and robotic systems, either individually or in an integrated manner. Playing ball catching between a human and a robot is an example of such a form of safe interaction not involving physical contact. The main goal of this thesis is focused towards the study of a possible scenario for ball catching task by a robotic manipulator using off-the-shelf technologies. In the pursuit of that objective, three main problems are addressed: (1) to develop a vision system for ball detection and tracking using a Kinect sensor, (2) to provide trajectory estimation of the flying ball, and (3) to control the robotic arm for interception of the flying ball. The complete software development is supported by Robot Operating System (ROS) with open-source platform and distributed architecture. Several experimental tests are conducted to validate the proposed solutions and to evaluate the system’s performance in different situations. Simulation of integrated system for ball catching task is also implemented using pre-recorded data-sets from Kinect sensor for feasibility test of proposed work.