Facial expressions: emotions recognition based on selected landmarks

Abstract

Automatic emotion recognition based on facial expressions is an active and challenging research field, owning to its academic and commercial potential. Most of the already existing facial expression recognition systems use a holistic approach to withdraw emotional characteristics from facial images, i.e., they adopt methods that make use of all facial attributes in order to recognize emotions. This project aims to identify the regions of the face that characterize each emotion within a set of basic emotions. For this, research was conducted to study the facial movements that occur from the neutral expression to the apex of a given emotion, resorting to the analysis of the evolution of the euclidean distances between facial landmarks throughout the frames of a video. From this analysis, there were selected sets of facial landmarks essential to identify each facial expression. The model used to perform the facial expressions classification was the Support Vector Machine (SVM). During this project, it was possible to verify that the number of facial landmarks can be reduced to a minimum value, promoting better computational efficiency, the usage of simpler algorithms, and also, in case it is necessary to store information, preserve people’s privacy since it diminishes the probability of re-identifying the intervening subjects with only the selected features.

O reconhecimento automático de emoções baseado em expressões faciais é uma área de pesquisa ativa e desafiante, fazendo jus ao seu potencial académico e comercial. A maioria dos sistemas de reconhecimento de expressões faciais já existentes utilizam uma abordagem holística para retirar características emocionais da face, ou seja, adoptam métodos que fazem uso de todos os atributos faciais para reconhecer emoções. Este projeto visa identificar as regiões do rosto que caracterizam cada emoção dentro de um conjunto de emoções básicas. Para tal, foi conduzida uma pesquisa para estudar os movimentos faciais que ocorrem desde a expressão neutra até ao ápice de uma determinada emoção, recorrendo à análise da evolução das distâncias euclidianas entre os pontos de referência na face ao longo dos frames de um vídeo. A partir desta análise, foram selecionados conjuntos de pontos de referência essenciais para identificar cada expressão facial. O modelo utilizado para realizar a classificação das expressões faciais foi o Support Vector Machine (SVM). No decorrer deste trabalho foi possível verificar que o número de pontos descritores da face pode ser reduzido a um valor mínimo, possibilitando assim uma maior eficiência computacional, o uso de algoritmos mais simples e ainda, no caso de ser necessária guardar informação, preservar a privacidade das pessoas, reduzindo a probabilidade de re-identificar os intervenientes com base nas features selecionadas.