Development and evaluation of a recommendation system to suggest medical items for inpatients in Hospital da Luz Lisboa

Abstract

The internet advances have led to an increase of data and information availability. This overload of information tends to compromise the capacity to manage and filter the available data. In the health domain, the increasing digitalization in healthcare led to a substantial rise of the recorded data. Various recommendation systems (RS) have been developed to help healthcare professionals integrate all information and make efficient and effective decisions. Here, a preliminary RS based on collaborative filtering is proposed to reduce the time that healthcare professionals spend in registering medical items consumed during patients’ hospitalization. For that purpose, the RS was built to perform suggestions of the medical items and respective quantities needed in the first day of hospitalization of a patient. Data regarding the diagnostics, surgical procedures and medical item records associated to surgeries of inpatients during a period of one year in Hospital da Luz Lisboa was filtered, restructured, and analysed (N = 5088 surgeries) for the construction of the RS. A 75-25% split of the data was considered with a 4-fold cross-validation procedure applied on the train set to tune the hyperparameters settings for the algorithm. The RS was then tested and evaluated regarding its overall performance in terms of accuracy, classification performance, and coverage. The same measures were applied to assess the quality of the recommendations for each medical specialty of the hospital. Furthermore, the trust of healthcare professionals in the RS was also assessed. A moderate overall performance was achieved (precision = 0.608, recall = 0.729, F1-Measure = 0.663, RMSE = 6.901) and the quality of the algorithm’s recommendations varied between medical specialties. Additionally, the algorithm presented higher values of precision, recall and F1-Measure in the predictions of the most frequently registered medical items in the test set, which corresponded to approximately 85% of the consumptions in the first day of hospitalization. Regarding the coverage of the RS, approximately 80% of the medical items used in the test set were never recommended by the algorithm, corresponding to only 5.57% of the consumptions. Lastly, although in the point of view of hospital’s nurses there is some trust in the RS results, several suggestions were given for further improvements of the algorithm. Despite the limitations of the RS, the observed results represent a starting point for the development of a tool that can support healthcare professionals of Hospital da Luz Lisboa in registering medical items needed during inpatients’ hospitalization.

Os avanços da internet têm aumentado a quantidade de informação disponível, pelo que o seu excesso tende a dificultar a capacidade de gestão e filtragem da mesma. Este fenómeno pode ser observado no domínio da saúde onde a digitalização dos serviços médicos levou a um aumento substancial dos dados registados nos hospitais. Com o intuito de ajudar os profissionais de saúde a integrar toda a informação e, assim, realizarem decisões eficientes e efetivas, vários sistemas de recomendação (SR) foram desenvolvidos. Neste projeto, propõe-se um SR preliminar baseado em filtragem colaborativa para reduzir o tempo despendido pelos profissionais de saúde do Hospital da Luz Lisboa no registo de artigos médicos consumidos durante o período de internamento de doentes. Para isso, o SR foi desenvolvido de modo a formular recomendações relativamente aos artigos médicos e respetivas quantidades necessárias para o primeiro dia de internamento de um doente. A construção do SR teve por base os diagnósticos, procedimentos cirúrgicos e registos de consumos de artigos médicos associados a propostas cirúrgicas de doentes que foram internados no período de um ano no Hospital da Luz Lisboa. O conjunto de dados foi filtrado, reestruturado e analisado (N = 5088 propostas cirúrgicas), para posteriormente ser dividido em conjuntos de treino e de teste (75-25%). Foi aplicada uma 4-fold cross-validation sobre o conjunto de treino para a afinação dos hiperparâmetros do algoritmo, sendo o SR foi testado e avaliado relativamente às suas recomendações a nível global e em cada especialidade médica do hospital em termos de accuracy, classification performance e coverage. Foi igualmente avaliado o grau de confiança no SR por parte dos profissionais de saúde do hospital. O SR apresentou uma performance global razoável (precisão = 0.608, sensibilidade = 0.729, F1 = 0.663, RMSE = 6.901) e demonstrou diferentes níveis de qualidade de recomendações dependendo da especialidade médica. Os melhores valores de precisão, sensibilidade e F1 foram observados nas previsões dos artigos médicos mais frequentemente registados, que correspondem a cerca de 85% dos consumos feitos no primeiro dia de internamento dos doentes do conjunto de teste. O algoritmo nunca sugeriu aproximadamente 80% dos artigos médicos utilizados no conjunto de teste, no entanto, estes apenas correspondiam 5.57% dos consumos totais. Por fim, e embora do ponto de vista dos enfermeiros do hospital haja alguma confiança nos resultados do SR, foram dadas sugestões para futuros ajustes do algoritmo. Não obstante as limitações do SR, os resultados obtidos representam um ponto de partida para o desenvolvimento de uma ferramenta de apoio aos profissionais de saúde do Hospital da Luz nos registos dos artigos médicos necessários durante o internamento de doentes.