A conversational query builder on medical databases

Abstract

Real-world evidence in the medical domain refers to clinical evidence derived from real-world data analysis. This become possible due to current strategies to handle the database interoperability issues. As these strategies have been widely adopted, new challenges in data discovery have appeared. One of these challenges is the discovery of databases for specific health studies. Initially, this was handled using database catalogs and interfaces to compare database characteristics. However, these solutions become less effective as database networks expand. Aiming to improve the discovery of databases and simplify the execution of multicenter studies, this dissertation proposes a conversational query builder to assist medical researchers in efficiently finding the most suitable databases for their studies. The solution implements the BM25 technique for optimal database retrieval and uses a large language model (LLM) for text generation and natural language processing (NLP) tasks. The results demonstrate that the conversational query builder significantly improves the efficiency of database discovery, but more importantly, it simplifies the process of defining cohorts over observational databases.

A utilização e análise de dados médica em larga escala, permitiu que fosse possível realizar estudos com mais impacto. Isto tornou-se possível devido às estratégias atuais para lidar com os problemas de interoperabilidade de bases de dados. À medida que essas estratégias foram adotadas,novos desafios surgiram, nomeadamente relacionados com a descoberta de base de dados adequadas a cada estudo. Inicialmente, isso foi tratado utilizando catálogos de bases de dados e interfaces para comparar características das mesmas. No entanto, essas soluções tornaram-se menos eficazes devido à complexidade dos dados existentes. Com o objetivo de simplificar a identificação das bases de dados adequadas e simplificar a realização de estudos distribuídos, esta dissertação propõe um sistema conversacional de pesquisa para ajudar os investigadores médicos a encontrar de forma eficiente as bases de dados mais adequadas para os seus estudos. é constituída por um modelo BM25 para sugerir as bases de dados mais adequadas, e também utilizada um modelo de linguagem para geração e processamento de texto em linguagem natural. Os resultados demonstram que o sistema conversacional de pesquisa melhora significativamente a eficiência na descoberta de bases de dados e simplifica o processo de definição de estudos observacionais.