Computational platform for multimodal affective data analysis

Abstract

Bio signals can be used to quantify several types of information about a person. These signals, by themselves, can reveal, directly or indirectly, interesting aspects about their source, thus having a wide range of applications. An emerging application is the use of these signals as input for technological systems that detect emotions, in the area of Affective Computing. Emotion identification systems are gaining more and more attention: it is expected that, in the future, many products will be developed based on the emotional analysis of their users, in order to provide more personalized and appropriate experiences, thus obtaining the best possible results. To this end, computational tools are needed that allow to analyze and study bio signals in an easy way, abstracting the underlying computational processes. This work proposes and demonstrates a computational platform that allows its users to analyze multimodal data for emotions detection, generating a summary report in which three base states are identified: happiness, fear and neutrality. The platform can use electrocardiogram (ECG), electrodermal activity (EDA), and electromyogram (EMG) data. The platform enables the user to perform feature extraction and selection, and emotional classification, on these types of bio signals. The platform is available in a Web environment and is oriented towards the end user, who does not need to be an expert either in bio signals or in processing methods. As some analyses may be demanding and therefore not immediate, the platform makes use of the abstraction of work queues for task submission and tracking. An initial version of the platform has been developed and explored with concrete problems of students performing emotion analysis in their academic projects.

Os biossinais podem ser usados para quantificar vários tipos de informações sobre uma pessoa. Estes sinais, por si só, podem revelar, direta ou indiretamente, aspetos interessantes sobre sua fonte, tendo com isto uma vasta gama de aplicações. Uma aplicação emergente é o uso desses sinais como entrada de sistemas tecnológicos que fazem a deteção de emoções, enquadrado na área da designada Computação Afetiva. Os sistemas de identificação emocional vêm ganhando cada vez mais atenção: projeta-se que, no futuro, muitos produtos sejam desenvolvidos com base na análise emocional dos seus utilizadores, a fim de proporcionar experiências mais personalizadas e adequadas, obtendo assim os melhores resultados possíveis. Para isso, são precisas ferramentas computacionais que permitam analisar e estudar os biossinais de forma fácil, abstraindo os processos computacionais subjacentes. Este trabalho propõe e demonstra uma plataforma computacional que permite aos seus utilizadores analisar dados multimodais para deteção de emoções, gerando um relatório de sumário em que se identifica três estados base: felicidade, medo e neutralidade. A plataforma pode usar dados de eletrocardiograma (ECG), atividade eletrodérmica (EDA) e eletromiograma (EMG). A plataforma possibilita ao utilizador realizar a extração e seleção de caraterísticas, e a classificação emocional, nesses tipos de biossinais. A plataforma está disponível em ambiente Web e orientada para o utilizador final, que não precisa de ser um especialista, quer em biossionais, quer nos métodos de processamento. Como algumas análises podem ser exigentes e, por isso, não imediatas, a plataforma recorre à abstração de filas de trabalho para a submissão e acompanhamento das tarefas. Uma versão inicial da plataforma encontra-se desenvolvida e foi explorada com problemas concretos de alunos que realizam a análise de emoções nos seus projetos académicos.