Towards a profile of emotions : a psychophysiological data mining proof of concept

Abstract

The capacity to recognise, employ, comprehend and manage emotions is one of the most important aspects of human intelligence. Giving this capacity to machines can be a huge benefit for mankind since with it, the system can easily adapt to the necessities of the user based on their emotional state. In follow up, responsive machines can be created, and with them an improvement in one’s daily life can be achieved. In this work we developed an end-to-end proof of concept solution that is able to integrate information from wearable sensors and identify emotion, that can, later on, be used by other systems namely to adapt application and/or environment. We applied machine learning for the classification of three different human emotions - Happy, Neutral and Fear. The system can recognise the human affective state based on four physiological signals – Electrocardiography (ECG), Electromyography (EMG), Electrodermal activity (EDA) and Respiration (RSP). The system is divided into three blocks. An integration block that will acquire data from sensors, an identification block responsible to classify the emotion based on physiological inputs and a final block responsible to provide feedback based on the classification. Prior to the classification, we selected features from the available inputs using several techniques namely variance threshold, correlation threshold. Principal Component Analysis was also used for feature reduction. For the classification phase two different popular methods were used, k-nearest neighbours that performed with an accuracy of 60% and neural networks that yield an accuracy of 50% on emotion classification when the features did not pass through PCA and no features from EMG were used. The physiological signals we used although a way to monitor persons and record their body response to emotional stimuli might not be ideal in real daily-life routines. For that reason, as part of the work we also performed an assessment on Vital Jacket (wearable sensor) against Biopac system (gold standard in laboratory settings) in both ECG and Heart Rate (HR) For the ECG, random delays were observed making the direct comparison difficult (Spearman correlation of 0.44 in 5 second windows). For HR the error was near 0. Although emotional recognition is still in early stages, this work shows that an emotional recognition system is possible and viable and be considered to use in real life using wearable solution with proper considerations on known limitations and on the scope of the application.

A capacidade de reconhecer, compreender e controlar emoções é um dos aspetos mais importantes da inteligência humana. Dar esta capacidade a máquinas pode ser um grande benefício para a humanidade, sendo que com isto o sistema pode facilmente adaptar-se às necessidades do utilizador baseado no seu estado emocional, com esta adaptação melhorias na vida diária do utilizador podem ser alcançada. Neste trabalho nós desenvolvemos prova de conceito que é capaz de integrar informação de sensores vestíveis e identificar emoções, que podem, mais tarde, ser usadas em sistemas nomeadamente para adaptar a aplicação e/ou o ambiente. Utilizando este tipo de sistemas em pessoas com maiores necessidades como idosos, crianças, pessoas com distúrbios mentais, entre outras, poderão vir a fornecer um enorme melhoramento nas tarefas diárias mais básicas, assim como aprimorar a sua independência. Nós aplicámos machine learning para a classificação de três emoções humana – Alegria, Neutra e Medo. O sistema consegue identificar o estado emocional baseando-se em quatro sinais fisiológicos: Eletrocardiografia (ECG), Eletromiografia (EMG), Atividade eletrodérmica (EDA), e Respiração (RSP). O bloco de integração, este irá adquirir os sinais fisiológicos fornecidos pelos sensores, o bloco de identificação, que irá ser responsável por classificar a emoção baseando-se no sinal fisiológico como input e um bloco final responsável por fornecer feedback baseando-se na classificação da emoção. Antes da classificação, selecionamos features a partir dos sinais disponíveis usando várias técnicas nomeadamente, feature variance threshold, correlation threshold e principal componente analysis foi também usada para redução de features. Para a fase de classificação diferentes métodos populares foram usados, K-nearest neighbours que atuava com uma precisão de 60% e neural network que apresentava uma precisão de 50% na classificação de emoções. Os sinais fisiológicos que nós usamos não são ideais para monitorizar pessoas e gravar as suas respostas corporais a estímulos emocionais em rotinas diárias. Por essa razão, como parte do trabalho nós também realizámos uma avaliação do Vital Jacket (sensor vestível) contra o sistema Biopac (gold standard em configurações de laboratórios) em ambos o ECG e o Batimento Cardíaco. Para o ECG, foi observado que existe um atraso aleatório que faz a comparação direta difícil (Correlação Spearman de 0.44 com uma janela de 5 segundos). Para o batimento cardíaco o erro foi quase 0. Apesar do reconhecimento emocional estar ainda nos estágios iniciais, este trabalho mostra que um sistema de reconhecimento emocional é possível e viável e poderá ser considerada a sua utilização na vida real usando uma solução vestível com as considerações apropriadas nas limitações conhecidas e de acordo com o âmbito da aplicação.