Eyempact: a low-cost system for integrated eye tracking and physiology analysis

Abstract

The usual signal to evaluate human attention is eye tracking. Beyond this, bioelectrical signals are also used in this context. The field of research that studies human attention, as well as human behavior and emotions, using these signals is called psychophysiology. Psychophysiological studies usually make use of movies or images to trigger emotions, feelings and behaviors. However, the participants do not always pay the expected attention to the stimulus, which may be justified by the stimulus itself. This avoidance behavior, if not intended at all, can have a negative influence on the psychophysiological and behavioral evaluation a posteriori. Therefore, it is important to understand the effective attention of the participant in the entire experience and have special caution in idealization and designing of said experience. The objective of this work is to provide a set of software tools, the Eyempact system, to evaluate the impact of visual stimuli (static images or movies) on participants, using eye tracking (Tobii eye tracker). Other physiological variables are also monitored (ECG, EDA, EMG using BITalino board). Eyempact is capable of (1) synchronously acquire all this information, and (2) provide a comprehensive offline review environment to support domain specific analysis, namely by psychophysiology features identification. The system was successfully utilized in a case study, the review environment was very useful to visually evaluate specific participant sessions and to export data metrics and measurements for the data analysis presented in this document.

Um sinal que é habitualmente usado para estudar a atenção humana é o olhar. Para além deste, sinais bioelétricos também são usados neste contexto. O ramo de pesquisa que estuda a atenção humana, assim como comportamentos e emoções, utilizando estes sinais é chamado de psicofisiologia. Estudos de psicofisiologia utilizam vídeos e imagens para despertar emoções, sentimentos e comportamentos. No entanto, os participantes nem sempre prestam atenção aos estímulos, algo que pode ser justificado pelos próprios estímulos. Este comportamento de evitamento, se não for de todo pretendido (de acordo com o desenho da experiência), pode ter um impacto negativo na avaliação psicofisiológica e comportamental realizada a posteriori. Deste modo, é essencial compreender a atenção efetiva do participante durante toda a experiência, e ter especial cuidado durante o processo de idealização e desenho da mesma. O objetivo deste trabalho é fornecer um conjunto de ferramentas, o sistema Eyempact, para a avaliação do impacto de estímulos visuais (imagens estáticas ou vídeos) em participantes utilizando o seguimento do olhar (capturado pelo Tobii eye tracker). Outras variáveis fisiológicas, ECG, EDA, EMG, são também monitorizadas (utilizando o sensor BITalino). Eyempact é capaz de (1) adquirir simultaneamente toda esta informação, e (2) fornecer um ambiente de revisão dos dados (offline) que auxilia a análise deste tipo de dados. O sistema foi utilizado com sucesso num caso de estudo, o ambiente de revisão foi útil para avaliar visualmente sessões específicas de alguns participantes e para exportar métricas e medidas para a análise de dados apresentada neste documento.