Please use this identifier to cite or link to this item: http://hdl.handle.net/10773/38711
Title: Multimodal quantification of mental illness through machine learning
Other Titles: Quantificação multimodal de doenças mentais através de aprendizagem máquina
Author: Pires, Márcia Jesus
Advisor: Trifan, Alina Liliana
Oliveira, José Luis Guimarães
Keywords: Deep learning
Depression prediction
Machine learning
Mental health
Natural language processing
Defense Date: 29-Nov-2022
Abstract: Approximately 280 million people worldwide suffer from depression - the foremost cause of mental-health illness - and the tendency is for this number to continue to grow. This depressive disorder affects an individual psychologically and physically, leading, in the worst case, to the loss of lives. Therefore, early detection of depression is critical for rapid assessment and intervention, which can contribute to minimizing the escalation of the disorder. However, the current diagnosis methods are limited and subjective, depending almost entirely on verbal reports. Thus, there is an urgent need to develop systematic strategies to monitor and diagnose depression. In that scope, this dissertation focus on developing machine learning and deep learning models capable of automatically detecting the presence and quantifying the severity of depression using verbal and non-verbal indicators. From semi-structured clinical interviews, it was possible to analyze audio and video recordings and transcripts from participants’ speech with the intuition of extracting the most revealing characteristics of depression inside a modality. Those extracted features allowed the development of supervised machine learning unimodal models and deep learning ones that later culminated in a multimodal model. Finally, the results confirmed the efficiency of fusing different modalities, and the multimodal model predicted depression presence with an F1-Score of 0.83. At the same time, the severity measure of depression obtained an RMSE of 5.91.
Aproximadamente 280 milhões de pessoas no mundo sofrem de depressão - a principal causa de doença mental - e a tendência é que este número continue a crescer. Este transtorno depressivo afeta o indivíduo psicologicamente e fisicamente, levando, no pior dos casos, à perda de vidas. Assim sendo, a deteção precoce da depressão é fundamental para uma rápida avaliação e intervenção, o que pode contribuir para minimizar o escalonamento do transtorno. No entanto, os métodos diagnósticos atuais são limitados e subjetivos, dependendo quase inteiramente de relatos verbais. Assim, há uma necessidade urgente de desenvolver estratégias sistemáticas para monitorizar e diagnosticar a depressão. Nesse âmbito, esta dissertação foca-se em desenvolver modelos de aprendizagem de máquina e aprendizagem profunda capazes de detetar automaticamente a presença e quantificar a gravidade da depressão através de indicadores verbais e não verbais. A partir de entrevistas clínicas semiestruturadas, foi possível analisar gravações de áudio e vídeo e também transcritos do discurso de participantes com o intuito de extrair as características mais sugestivas de depressão em cada modalidade. Essa extração permitiu o desenvolvimento de modelos unimodais de aprendizagem de máquina supervisionada e de aprendizagem profunda, que posteriormente culminou num modelo multimodal. Por fim, os resultados confirmaram a eficiência da fusão de diferentes modalidades, sendo que o modelo multimodal conseguiu prever a presença de depressão com um F1-Score de 0.83, enquanto que, ao mesmo tempo, a medida da gravidade de depressão obteve um RMSE de 5.91.
URI: http://hdl.handle.net/10773/38711
Appears in Collections:UA - Dissertações de mestrado
DETI - Dissertações de mestrado

Files in This Item:
File Description SizeFormat 
Documento_Márcia_Pires.pdf1.45 MBAdobe PDFView/Open


FacebookTwitterLinkedIn
Formato BibTex MendeleyEndnote Degois 

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.