A computational platform for emotion analysis and reporting for videoconference sessions

Abstract

In an era marked by increasing reliance on virtual meetings across various domains such as work, education and healthcare, the significance of understanding the emotional dynamics of participants during video conferences cannot be overstated. Emotions inherently influence the effectiveness of human communication and thereby shape the outcomes of virtual meetings. The primary objective of this work is to develop a platform capable of processing multimedia data derived from video recordings of video conferences, subsequently generating indicators that illuminate the emotional progression of the meetings. To achieve such an objective the platform needs to be able to establish a pipeline for the analysis of user emotion states during video conferences, integrate with video conferencing services, implement one or more emotion classification models for both video and audio data and generate a comprehensive report that visually represents the emotional evolution of the virtual meetings. It is important to mention that the intention is not to create individual profiles of participants but rather to compile a generalized emotional analysis of the virtual meeting. The architecture developed in this dissertation combines multiple components, which include a Conference System to create and manage video conferences, a Pipeline System that extracts and analyses image and audio frames finalizing with a Report Server that generates a report of the emotional state evolution in the video conference. As a proof of concept, the platform fulfills its objective and manages to generate a report based on the audio and images from the users derived from a video conference recording.

Numa era marcada pela crescente dependência de reuniões virtuais em várias áreas, como trabalho, educação e saúde, a importância de compreender a dinâmica emocional dos participantes durante videoconferências não deve ser esquecida. As emoções influenciam inerentemente a eficácia da comunicação humana e, assim, moldam os resultados das reuniões virtuais. O objetivo principal deste trabalho é desenvolver uma plataforma capaz de processar dados multimédia derivados de gravações de vídeo de videoconferências, gerando posteriormente indicadores que denotam a evolução emocional das reuniões. Para atingir tal objetivo, a plataforma precisa ser capaz de estabelecer um sistema de análise dos estados emocionais dos utilizadores durante videoconferências, integrar-se com serviços de videoconferência, implementar um ou mais modelos de classificação de emoções para dados de vídeo e áudio e gerar um relatório abrangente que represente visualmente a evolução emocional das reuniões virtuais. É importante mencionar que a intenção não é criar perfis individuais dos participantes, mas sim compilar uma análise emocional generalizada da reunião virtual. A arquitetura desenvolvida nesta dissertação combina vários componentes, incluindo um Sistema de Conferência para criar e gerir videoconferências, um Sistema de Pipeline que extrai e analisa imagens e frames de áudio, finalizando com um Servidor de Relatórios que gera um relatório sobre a evolução do estado emocional na videoconferência. Como prova de conceito, a plataforma cumpre o seu objetivo e consegue gerar um relatório com base no áudio e nas imagens dos utilizadores derivados de uma gravação de videoconferência.