A multi-modal approach for affective data gathering

Abstract

Recognizing, interpreting and processing emotions (Affective Computing) is an emerging field of computer science. Multiple methods of data acquisition and emotion classification exist with different accuracy performances. Despite this, multimodal systems, generally have a higher accuracy than unimodal ones. This dissertation’s goal is to research the current methods of both affective data gathering and emotion classification while developing a multi-modal system, that focuses primarily on the utilisation of non-intrusive methods with potential application in cccupational stress. The system has the purpose of collecting affective data including multiple data gathering methods such as mouse and keyboard utilisation data, ECG data, face and upper body video recordings and computer screen video recordings (for activity detection). For the emotion classification, the Clustering and Random Forest algorithms were utilised. In the exploratory study with the already existent SWELL investigation dataset, we tested the algorithm of Random Forest and an overall accuracy of 89.97% was achieved, which we considered acceptable. In order to validate the final system, a study with eleven participants was conducted. An overall error rate of approximately 65% was achieved with the Random Forest algorithm. For the majority of the participants, the Clustering algorithm did not recognize most of the data above 3% in class 2. The participants also reported in the questionnaires an overall decrease in the stress felt. Therefore, it is possible that the proposed protocol did not induce the desired emotional state (stress) in the participants. The developed multimodal system is functional and can be utilised in other studies with emotional markings gathering.

O reconhecimento, a interpretação e o processamento de emoções (Affective Computing) é uma área emergente das aplicações computacionais. Existem vários métodos de aquisição de dados e de classificação de emoções, com precisões distintas, em que os sistemas multimodais apresentam geralmente uma precisão mais elevada do que os unimodais. Nesta dissertação, procuramos investigar os métodos atualmente usados para recolher informação afetiva bem como métodos para a análise da mesma, tendo em vista uma proposta de um sistema multimodal, com foco em métodos não-intrusivos, com potencial aplicação na monitorização de stress ocupacional. O sistema desenvolvido tem como objectivo a recolha de informação afetiva, incluindo várias fontes de dados, como informação sobre utilização do rato e do teclado, dados ECG, vídeo da face e gravações de vídeo do ecrã do computador (para deteção de atividades). Para a classificação de emoções, foram utilizados os algoritmos de Clustering e de Random Forest. Num estudo exploratório, usando o dataset de investigação SWELL, testámos o algoritmo de Random Forest e obtivemos uma precisão global de 89.97% na classificação, o que considerámos satisfatória, uma vez que é comparável com os resultados apresentados na literatura. O sistema desenvolvido foi testado num conjunto de onze participantes. Globalmente, o algoritmo de Random Forest obteve uma taxa de erro de 65%. O algoritmo de Clustering testado não classificou acima de 3% dos dados na classe 2. Quando se avaliaram os questionários de avaliação do estado emocional (aplicados antes e depois do teste ao sistema), verificou-se que os participantes reportaram um decremento na ansiedade sentida depois da realização do estudo. O que pode indicar que o protocolo de recolha de dados apresentado pode não ter induzido os estados emocionais pretendidos (stress) nos participantes O sistema multimodal encontra-se funcional e pode ser aplicado em outros estudos para recolha de marcadores de emoções.