ThermoDroid: Android based solution for temperature physiological assessment

Abstract

Currently, the recognition of emotions has assumed an important role in the domain of human computer interaction. However, the devices used are, as a rule, invasive and limit the freedom of movement of the individual. This dissertation proposes Thermodroid, a non-intrusive, non-contact, portable and inexpensive system for psychophysiological assessment through variations in face skin temperature. A low-cost infrared sensor is used for its measurement through thermal imaging. Thermodroid has an Android-based interface for controlling, acquiring, storing and analyzing data, communicating via Bluetooth. It can be connected to a Kafka message broker for writing and storing the received data and, as proof of concept of ”stream processing”, calculating the maximum and minimum of the thermal values of each captured thermal image that it receives. Thermodroid was tested in a psychophysiology case study addressing the impact that tobacco health warning images in cigarette packaging have on emotions. Thermodroid was able to capture the thermal images, extracting the thermal data of the skin of the face, as well as the physiological signals necessary for the emotional detection, for its later comparison and analysis. Although the observed results suggest that we were able to capture credible reactions to the presented images, such as a discrimination between arousal levels and a correlation with galvanic skin response, a more in-depth analysis should be performed to validate them. The obtained outcomes point to the feasibility of the use of contactless and low cost thermal imaging in the detection of emotions and do not dismiss the usefulness of the system for supporting a more complex recognition of emotional scenarios.

Atualmente, o reconhecimento de emoções tem assumido um papel importante no domínio da interação humano computador. No entanto, os aparelhos utilizados são, por norma, invasivos e limitam a liberdade de movimentos do indivíduo. Nesta dissertação propõe-se o Thermodroid, um sistema não intrusivo, sem contacto, portátil e de baixo custo para avaliação psico-fisiológica através das variações de temperatura da pele da face. Recorre-se a um sensor de infravermelho de baixo custo para a sua medição através de imagens térmicas. O Thermodroid possui uma interface baseada em Android para controlo, aquisição, armazenamento e analise dos dados, comunicando via Bluetooth. Pode ser ligado a um ”message broker” Kafka para escrita e armazenamento dos dados recebidos e, como prova de conceito de ”stream processing”, calculo dos máximos e mínimos dos valores térmicos de cada imagem térmica capturada que recebe. O Thermodroid foi testado num caso de estudo de psicofisiologia abordando o impacto que as imagens de advertência de saúde presentes nos maços de tabaco tem sobre as emoções. O Thermodroid mostrou-se capaz de capturar as imagens térmicas, extraindo os dados térmicos da pele da face, bem como os sinais fisiológicos necessários `a deteção emocional, para a sua posterior comparação e analise. Embora os resultados observados sugiram que fomos capazes de capturar reações credíveis `as imagens apresentadas, tal como uma discriminação entre os níveis de ”arousal” e uma correlação com a resposta galvânica da pele, uma análise mais aprofundada deve ser realizada para os validar. Os resultados obtidos apontam para a viabilidade da utilização de imagiologia térmica sem contacto e de baixo custo na deteção de emoções, e não descartam a utilidade do sistema para apoiar um reconhecimento de cenários emocionais mais complexos.