Identification of health concepts in social networks

Abstract

Social Networks are, without doubt, one of the fastest growing trends on the Internet nowadays and the amount of information generated is huge. On the other hand, search engines such as Google, Yahoo and Bing became global interfaces for information search. From an enterprise point of view, this phenomenon has lead to changes in strategies to deal with information representation, indexing and searching. Engines like Lucene, Nutch, Solr, Sphinx, ElasticSearch, among others, were born and became important platforms of software engineering. The amount of information available on the Internet on a daily basis, can be utterly valuable for multiple goals - social, scientific, politic, economic. For instance, in the case of health related subjects, institutions keep information on patients such as pathologies, conditions, treatments, exam results, pathways, etc. Also, governmental institutions divulge more and more information on health subjects in the most varied aspects. On the other hand, health research is one of the most active areas, resulting on network publishing of new results. Adding to the aforementioned, the way people share information on their health status can be valuable to detect pandemics and also to identify clinical conditions and their causes. In this project we proposed to develop a system capable of processing information retrieved from social networks, identifying symptoms, disorders and drugs. From an engineering point of view, the process consisted in accessing varied data sources to obtain information, create dictionaries and models of natural language processing to identify text patterns and associations between concepts. In the future, these associations can be valuable, for instance, to detect adverse reaction to drugs.

No últimos anos, blogs e redes sociais tiveram um crescimento imensurável, tanto em número de utilizadores como em receita gerada. Por outro lado, portais como o Google, Yahoo e Bing tornaram-se interfaces privilegiadas de procura de informação a nível global. Sob um ponto de vista empresarial, este fenómeno tem igualmente levado à mudança de estratégias de representação, indexação e pesquisa de informação. Surgiram motores como Lucene, Nutch, Solr, Sphinx, ElasticSearch, entre muitos outros, que são hoje sistemas incontornáveis na engenharia do software. A informação que diariamente é disponibilizada na Internet pode ter um enorme valor em múltiplas vertentes - social, científica, política, económica. Por exemplo, na área da saúde, as instituições registam cada vez mais informação sobre utentes, procedimentos, exames, diagnósticos, etc. Instituições governamentais divulgam cada vez mais informação sobre saúde nos seus mais variados aspectos. Por outro lado, a investigação em saúde é uma das áreas mais ativas, resultando na publicação em rede de novos resultados. Para além disto, a forma como os cidadãos trocam informação sobre o seu estado de saúde pode igualmente ajudar a detectar pandemias bem como a identificar condições clínicas e as suas causas. Neste projeto pretendeu-se desenvolver um sistema capaz de processar informação proveniente de redes sociais, identificando sinais, sintomas, doenças e medicamentos. Do ponto de vista de engenharia, o processo consistiu em aceder a diversas fontes de dados para obter informação, criar dicionários e modelos de processamento de linguagem natural para identificar padrões no texto e associações entre conceitos. Associações essas que, futuramente, poderão ser um passo para a detecção de reacções adversas a medicamentos.