Stereo vision system for 3D ball trajectory estimation

Abstract

O sistema de visão humano e um sistema complexo e extraordinário. O ser humano usa o que se denomina por esteropsia para obter uma noção da profundidade dos objectos que o rodeiam. Os dois olhos capturam duas imagens do mundo e o cérebro processa e interpreta a informação capturada. Um sistema de visão estéreo e baseado nesta capacidade. O sistema integra duas ou mais camaras que capturam visões diferentes do mundo. As imagens são processadas para obter informação 3D sobre os objectos e do próprio mundo. Estéreo é uma área importante da visão por computador que e usada em várias aplicações como por exemplo detecção de pessoas, navegação em robôs móveis, automação industrial, veículos de condução autónoma entre outros. Hoje em dia, a visão por computador começa também a ser usada em desporto, nomeadamente futebol, ténis e hockey. O objectivo desta tese é apresentar um sistema de visão estéreo que consiga detectar objectos coloridos em tempo real e estimar a sua trajectória em 3 dimensões. Este documento apresenta os passos necessários para obter um sistema funcional incluindo a calibração das camaras, sincronização de camaras, detecção de objectos e a relação da sua posição nas diferentes camaras. Também apresenta experiências e resultados que confirmam a eficácia do sistema.

The human vision system is a very complex and amazing system. Humans use what is called stereopsis to perceive depth and 3D objects. The two eyes capture two di erent images of the surrounding world and it is the brain that processes and interprets the information captured. A stereo vision system is based on this ability. The system integrates two or more cameras that capture di erent views of the world. The images are processed to obtain information about 3D objects and the world itself. Stereo is an important area of computer vision used in several applications such as people tracking, mobile robotics navigation, industrial automation, automonomous vehicle research and others. Nowadays computer vision is starting to be used in sports as well, namely soccer, tennis and hockey. The main goal of this thesis is to present a stereo vision system that is able to detect colored objects in real time and estimate their trajectory in 3 dimensions. This document presents the necessary steps to have a fully functioning stereo system including camera calibration, camera synchronization, object detection and the relation of the its position in the di erent cameras. It also presents system experiments and results that con rm the e ectiveness of the system.