EMOTIVA: métodos para a criação de uma base de dados dinâmica de expressão de emoções

Abstract

As emoções têm um papel central no nosso dia-a-dia e, por isso, entender como expressamos e percebemos as emoções nos outros tem sido objecto de inúmeros trabalhos. Para estudar a influencia que determinada emoção pode ter no individuo, é comum os procedimentos experimentais recorrerem ao visionamento de fotografias de pessoas a expressar emoções (e.g., medo, alegria) obtidas de bases de dados existentes. No entanto, a expressão de emoção é um processo dinâmico, i.e., uma expressão de alegria, por exemplo, exibe uma progressão de movimentos da face ao longo do tempo, não surge, na sua máxima intensidade, instantaneamente. Este caracter dinâmico da expressão de emoção tem também motivado estudos que tentam perceber, entre outros aspectos, que movimentos faciais caracterizam cada emoção e o momento a partir do qual conseguimos reconhecer a emoção que está a ser expressada. Para este efeito, a literatura tem recorrido, em alguns momentos, a vídeos, mas o mais usual é a consideração de técnicas de interpolação (morphing) para construir sequências de imagens com diferentes intensidades de cada emoção. Ainda que esta abordagem tenha sido usada com sucesso em vários trabalhos, deixa muitas questões sobre como um processo de interpolação pode afetar o realismo dos dados que se estão a analisar. Neste contexto, a existência de uma base de dados que incluísse sequências reais de expressão de emoção, seria muito útil para a comunidade e para um estudo mais amplo da expressão de emoção. Nesse âmbito, este trabalho, desenvolvido em colaboração com o Departamento de Educação e Psicologia da Universidade de Aveiro, propõe uma metodologia e métodos computacionais para suportar a criação de uma base de dados contendo dados dinâmicos de expressão de emoção. Para esse efeito, foi proposto um protocolo experimental para, de forma sistemática, suportar a recolha dos dados de expressão de emoção. Como base nessa proposta, foram definidos os requisitos, identificados os diferentes passos a ser assegurados e desenvolvida uma ferramenta interativa para a sua articulação incluindo: 1) aquisição dos dados recorrendo a uma Kinect V2; 2) a validação dos dados adquiridos pelo participante e experimentador; 3) a anotação das sequências adquiridas para identificação dos intervalos de interesse em que a emoção está a ser expressada; 4) o pós-processamento e normalização das sequências; e 5) o armazenamento estruturado dos dados finais. O trabalho desenvolvido permite, agora, e de forma sistemática, iniciar a recolha e processamento de dados dinâmicos de expressão de emoção.

Emotions have a crucial role on our day-to-day life and therefore, understand how we express and interpret them in other people has been a matter of object of countless studies. To understand the influence of one particular emotion in a person, it is common, for experimental procedures, to explore the visioning of people portraits expressing emotions (e.g., fear, joy), obtained from existing databases. Nevertheless, the emotion expression is a dynamic process, i.e., an expression of joy, for example, displays a progression of face movements through the time; it does not come up immediately. This dynamic nature of the emotion expression has also motivated studies that try to understand, among other aspects, which facial movements represent each emotion, as well as the moment from when we recognize the emotion that is being expressed. To this effect, literature has been resorting, in some moments, to videos. Even though, the most usual is to resort to the consideration of interpolation techniques (morphing) to create sequences of images with different intensities for each emotion. Although this approach has been used with success in several works, it leaves many questions regarding how an interpolation process can affect the realism of the databases that are being analyzed. In this context, the existence of a database that could include real emotion expression sequences, would be very useful to the community and to a wider study about the expression of emotion. In that scope, this work, developed in collaboration with the Education & Psychology Department of the University of Aveiro, proposes a methodology and computing methods to support the development of a database containing dynamic data of emotion expression. To that effect, an experimental protocol was developed to, in a systematic way, support the collection of expression emotion data. Based on that proposal, the requirements were defined, the different steps and phases to be ensured were identified and an interactive tool was developed to its articulation, including: 1) data acquisition, using the Microsoft sensor - Kinect V2; 2) the validation of the acquired data by the participants and the experimenter; 3) the annotation of the acquired sequences in order to identify the interest ranges when the emotion is being expressed; 4) the post-processing and normalization of the sequences; and 5) the structured storage of the final data. The developed work allows now, in a systematic way, the beginning of the dynamic expression emotion data collecting and processing.