Multimodal quantification of depression using machine learning

Abstract

Depression is a mental disorder that is increasingly becoming common in people’s lives and that can have serious implications on human beings. Over 264 million people worldwide suffer from this disorder, and the trend is for these numbers to increase over the years. With this in mind, it is necessary to develop depression recognition and prediction methods by analysing natural language, non-verbal behaviours and speech processing. This is an area of study with high interest, since it can support clinicians on patients diagnosis and treatments, as well as it can also serve the patients by receiving a robust diagnosis and an adequate treatment guide so they can overcome the disorder. This dissertation focuses on developing a method that can quantify and predict if a person suffers from depression, basing itself on studies and articles in the area, published in international conferences. With access to interviews and clinical data, a language and speech analysis for each participant was performed, with the intent of extracting key characteristics that could assist depression identification. After the extraction, experiments with unimodal and multimodal models were developed with the objective of quantifying depression correctly for each participant. These models outperformed the AVEC conference baseline and presented comparable results with other published models in that same conference.

A depressão é uma doença mental que cada vez mais se está a tornar comum na vida das pessoas e que pode ter implicações muito sérias no ser humano. Mais de 264 milhões de pessoas em todo o mundo sofrem com esta doença e a tendência é para estes números aumentarem ao longo dos anos. Tendo isto em conta, é necessário desenvolver métodos de reconhecimento e de previsão da depressão através da análise de linguagem natural, de comportamentos não verbais e de processamento de voz. Esta é uma área de estudo com elevado interesse, pois tanto pode servir os clínicos no apoio ao diagnóstico e ao tratamento de pacientes com esta doença mental, como também pode servir os pacientes ao receberem um diagnóstico robusto e um guia de tratamento adequado para conseguirem superar a doença. Esta dissertação foca-se no desenvolvimento de um método de quantificação e previsão da depressão numa pessoa, baseando-se em estudos e artigos na área, publicados em conferências internacionais. Com acesso a entrevistas e a dados clínicos, foi realizada uma análise da linguagem e uma análise da voz de cada participante, com o intuito de extrair características específicas que pudessem auxiliar a identificação de depressão. Após esta extração, foram desenvolvidas experiências com modelos unimodais e multimodais com o objetivo de conseguir quantificar corretamente a depressão de cada participante. Estes modelos ultrapassaram a base de referência da conferência AVEC, com resultados comparáveis a outros modelos publicados nesta mesma conferência.