Please use this identifier to cite or link to this item: http://hdl.handle.net/10773/24947
Title: Audio-guiding imersivo
Author: Nuno Miguel Aires
Advisor: Campos, Guilherme
Vieira, José Manuel Neto
Keywords: Audio-guide
Auralização
Streaming
Processamento
Recetor GPS
Head-tracker
Buffer
Tempo real
HRIR
HRTF
Monofónico
Binaural
Som
Fonte sonora virtual
Imersivo
Realidade aumentada
Rota
Defense Date: 31-Jul-2018
Abstract: Desenvolveu-se um protótipo de um sistema de audio-guiding que permite associar fontes sonoras virtuais aos pontos focais de cada rota de visita e aplicar, na reprodução estereofónica através de auscultadores, um efeito de espacialização controlado em tempo real pela pose (posição e orientação da cabeça) do utilizador relativamente a esses pontos. É assim criado um efeito de realidade aumentada, com os conteúdos áudio (virtuais) a parecerem provir de pontos (reais) especificados. Foi desenvolvido um programa de gestão de rotas para especificar previamente os pontos focais (através de coordenadas GPS), o conteúdo áudio (ficheiro monofónico) pretendido para cada e o ponto do trajeto em que deve ser iniciada a reprodução. Para detetar posição, usou-se um recetor GPS ligado à plataforma de computação transportada pelo utilizador; para monitorizar continuamente os movimentos da sua cabeça (head-tracking), recorreu-se a um sensor inercial (InertiaCube) acoplado aos auscultadores. A aplicação principal, desenvolvida em linguagem C++, recorre a buffers circulares implementados em software para realizar, com a mínima latência possível, o streaming áudio a partir dos ficheiros de entrada. O processamento baseia-se numa biblioteca (‘motor’) de auralização em tempo real que utiliza bases de dados de HRTF de acesso público. Para escolher o par de HRTF a utilizar em cada ciclo de processamento, o azimute e a elevação da fonte virtual são continuamente recalculados em função dos dados recolhidos sobre a pose do utilizador. Para avaliar o funcionamento da aplicação, identificar possíveis problemas e caracterizar as gamas mais adequadas para determinados parâmetros (e.g. tamanho de buffers, número de amostras por bloco de áudio, janela de filtragem dos dados GPS), efetuaram-se testes subjetivos preliminares, com dez sujeitos a percorrer uma rota criada para o efeito. Embora confirmando a capacidade de obter o efeito sonoro pretendido, os testes evidenciaram a necessidade de melhorar a precisão dos dados de posição, principal fator a afetar negativamente a qualidade da experiência.
An audio-guiding system prototype was developed which makes it possible to associate virtual sound sources to the focal points of each tourist route and apply, in the stereophonic reproduction over headphones, a spatialisation effect controlled in real time by user pose (position and head orientation) relative to those points. An augmented reality effect is thus achieved, with the (virtual) audio content seemingly originating from specified (real) points. A route management program was developed to allow specification of the focal points (through GPS coordinates), audio content (monophonic file) intended for each and route point where its playback should be triggered. Position was detected by a GPS receptor plugged into the computing platform carried by the user; head-tracking was based on an inertial sensor (InertiaCube) attached to the headphone strap. The main application, developed in C++, implemented software buffers to stream audio through from the input files with the lowest possible latency. The processing resorts to a real-time auralisation engine using a public access HRTF database. In order to choose the appropriate HRTF pair for each processing cycle, the azimuth and elevation of the virtual source are continuously recalculated according to the acquired user pose data. In order to assess performance, identify possible problems and characterise the most appropriate application parameter ranges (e.g. buffer size, number of samples per audio block, filtering window for GPS data), preliminary subjective tests were carried out, with ten subjects following a route created for this purpose. Whilst confirming the ability to provide the desired audio spatialisation effects, the tests also evidenced the need to improve the precision of position data, as this was the main factor negatively affecting the experience.
URI: http://hdl.handle.net/10773/24947
Appears in Collections:DETI - Dissertações de mestrado
UA - Dissertações de mestrado

Files in This Item:
File Description SizeFormat 
documento.pdf3.41 MBAdobe PDFView/Open


FacebookTwitterLinkedIn
Formato BibTex MendeleyEndnote Degois 

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.