Computational analysis of nonverbal communication cues in group settings

Abstract

Human communication is a major field of study in psychology and social sciences. Topics such as emergent leadership and group dynamics are commonly studied cases when referring to group settings. Experiments regarding group settings are usually analyzed in conversational and collaborative tasks environments in order to study the communication process in small groups. Former studies’ methods involve human analysis and manual annotation of others’ behaviors in communication settings. Later studies try to replace time consuming and failure prone annotations by resorting to computational methods. Having a custom, newly-gathered audiovisual dataset, from an experiment conducted by the Department of Education and Psychology of the University of Aveiro, a multidisciplinary group from the same institution with members from psychology and engineering backgrounds, took the initiative to create computational methods in order to facilitate the analysis of the collected data. For that purpose, this work presents a multimodal computational framework using state-of-the-art methods in computer vision, capable of enriching image data with annotations of a broad range of nonverbal communication aspects, both at an individual and group levels, thus facilitating the study of nonverbal communication and group dynamics. This works contributes to the community by presenting methods to directly increase human knowledge about the human communication process, involving data transformation processes in order to transform raw feature data into humanly understandable meanings and a visualization tool capable of visualizing such methods applied to the input data.

A comunicação humana é uma grande área de estudo na psicologia e ciências sociais. Temas como liderança emergente e dinâmicas de grupo são temas frequentemente estudados quando se estudam contextos de grupo. Dentro da área de estudos sobre contextos de grupo analisam-se situações de conversação e realização de tarefas colaborativas em grupos de pequena dimensão. Estudos primordiais envolviam análise e anotação humana para a anotação dos comportamentos revelados nas experiências realizadas, equanto que estudos mais recentes tendem a adotar métodos computacionais de forma a susbtituir os métodos anteriormente usados por serem dispendiosos em termos de tempo e propícios a erros. Tendo como caso de estudo um conjunto de dados audiovisuais de uma experiência realizada pelo Departamento de Educação e Psicologia da Universidade de Aveiro, um grupo de investigação multidisciplinar das áreas da psicologia e engenharia tomou a iniciativa de desenvolver métodos computacionais capazes de facilitar o processo de análise dos dados recolhidos. Como tal, este trabalho apresenta uma abordagem computacional multimodal, utilizando métodos "Estado da arte", capaz de enriquecer os dados visuais com anotações de uma larga extensão de aspetos de comunicação não-verbal, tanto a nível individual como de grupo, facilitando assim o estudo da comunicação em geral e das dinâmicas de grupo. Este trabalho contribui para a comunidade, fornecendo métodos para aumentar o conhecimento existente sobre o processo de comunicação humana, incluindo processos de transformação de dados, desde dados numéricos de baixa interpretação para informação interpretável e compreensível, assim como uma ferramenta de visualização capaz de apresentar tais métodos aplicados aos dados de entrada.