Computing services for sentiment analysis in videoconferencing applications

Abstract

During the pandemic many organizations adopted the remote work as way of ensuring the work continuity and the well being of its workers. The flexibilty provided by remote collaboration tools proved to be advantageous, becoming a prominent way of communication between teams. Nevertheless, the ability to understand the participants’ emotions is a topic yet to fully explore. Recent advancements in machine learning algorithms have reached newer milestones in their ability to accurately classify human emotions. By applying this algorithms to a video platform it would be possible to analyse in real time the emotions of its participants. The main objective of this work is the creation of a proof of concept system, capable of integrating machine learning models in a video conference platform, providing analysis of emotions based on audio and video. The system has gone through a conceptual phase to overcome challenges related to its scalability and flexibility. The resulting architecture is made of multiple components that allow the creation of video conferences, the capture, aggregation and later analysis of the participants audio and video data. Two deployments were created: Docker and Kubernetes. The monitorization of the system was also explored. In this proof of concept system it is possible to obtain the classified emotions based on the participant’s audio and video in near real-time. The tests and posterior results showed that depending on the models used and on their configurations it is possible to minimize the delay for the classifications to reach the participants.

Durante a pandemia muitas organizações optaram por um regime de teletrabalho de maneira a garantir a continuidade do negócio e o bem estar dos trabalhadores. A flexibilidade proporcionada pelas tecnologias de colaboração remota provaram ser vantajosas, tornando-se um meio de comunicação bastante utilizado no póspandemia. Visto isto, notou-se que o reconhecimento das emoções dos seus participantes é um tópico com caminhos inexplorados. Recentemente houve um enorme progresso na capacidade de classificar corretamente emoções humanas por parte dos algoritmos de machine learning. Ao aplicarmos esses algoritmos a uma platforma de video conferência seria possível analisar em tempo real as emoções dos seus participantes. O objetivo principal deste trabalho é a criação de um sistema de prova de conceito capaz de integrar modelos de machine learning numa plataforma de vídeo conferência, prorcionando a análise das emoções através de áudio e vídeo. O sistema passou por uma fase de conceção que visava ultrapassar problemas relacionados com a sua escabilidade e flexibilidade. A arquitetura resultante é composta por vários componentes que permitem a criação de uma platforma de vídeo conferência, a captura, agregação e posterior análise dos dados de áudio e vídeo dos participantes. Foram criados dois deployments, local em Docker, e um em Kubernetes. Aspetos como a monitorização do sistema foram também abordados. No sistema prova de conceito é possível obter a classificação das emoções através do vídeo e do aúdio em quase tempo real. Os testes e posterior resultados mostraram que dependendo dos modelos usados e das suas configuções é possível minimizar o tempo de retorno das classificações aos participantes.