Explainable AI in medical applications

Abstract

Artificial Intelligence (AI) has been revolutionizing the healthcare industry by automating tasks, improving predictions, and being able to analyze large amounts of data. One of the biggest applications has been in terms of analyzing medical diagnoses in order to detect patterns and predict potential health problems early on. However, there’s a challenge that comes to this: being “black-box models”, they often lack transparency in their results, and this raises concerns regarding understanding the model’s decision-making processes. To address this, Explainable Artificial Intelligence (XAI) was created. It can offer clear and understandable explanations for AI actions, through visual explanations. This dissertation focuses on utilising XAI methods to enhance transparency, fairness, and safety in a medical image classification, more specifically in a customised model for detecting pulmonary diseases. The first phase of the project involves a systematic literature review to analyse existing research on XAI in healthcare applications. The review focuses on articles published between 2016 and 2022, obtained from various databases. The selection criteria includes relevance to XAI in healthcare, and the final eligible articles underwent thorough scrutiny and statistical analysis. From this systematic search three different XAI methods were chosen to be applied in our model. In the implementation phase, GRAD-CAM, LIME, and RISE were integrated into two model approaches: a pre-trained and fully-trained model for chest X-ray image classification. Two of the XAI techniques provided visual explanations for individual predictions, improving interpretability. The dissertation is concluded by evaluating the performance of both the model and the XAI techniques. The pre-trained model achieved high performance in detecting pulmonary diseases. Two of the XAI techniques had similar results, enhancing the trust in the model patterns and decision-making process. This model aims to improve patient care and outcomes. The ongoing journey towards developing trustworthy and interpretable AI models in healthcare must be kept as a priority when enhancing healthcare delivery.

A Inteligência Artificial (IA) tem vindo a revolucionar o sector da saúde a vários níveis, através da automatização de tarefas, melhorando as previsões e sendo capaz de analisar grandes quantidades de dados. Uma das suas maiores aplicações tem sido na análise de diagnósticos médicos, a fim de detetar padrões e prever potenciais problemas de saúde numa fase inicial. No entanto, existe um desafio: sendo "modelos de caixa negra", muitas vezes não apresentam transparência nos seus resultados, o que levanta preocupações relativamente à compreensão dos processos de tomada de decisão do modelo. Para resolver este problema, foi criada a Explainable AI (XAI). Esta pode oferecer explicações claras e compreensíveis para as ações da IA, através da geração de explicações visuais. Esta dissertação centra-se na utilização de métodos XAI para aumentar a transparência, a equidade e a segurança num ambiente de classificação de imagens médicas, mais especificamente num modelo personalizado para a deteção de doenças pulmonares. A primeira fase do projeto envolve uma revisão sistemática da literatura para analisar a investigação existente sobre XAI no ramo da saúde. A revisão centra-se em artigos publicados entre 2016 e 2022, obtidos a partir de várias bases de dados. Os critérios de seleção incluem a relevância da XAI nos cuidados de saúde e os artigos elegíveis finais foram submetidos a um exame minucioso e a uma análise estatística. A partir desta pesquisa sistemática, foram selecionados três métodos XAI diferentes para serem aplicados no nosso modelo. Na fase de implementação, o GRAD-CAM, o LIME e o RISE foram integrados em duas abordagens de modelos: um modelo pré-treinado e um modelo totalmente treinado para a classificação de imagens de raios-X do tórax. Duas das técnicas XAI forneceram explicações visuais para previsões individuais, melhorando a interpretabilidade. A dissertação é concluída com a avaliação do desempenho do modelo e das técnicas XAI. O modelo pré-treinado obteve um elevado desempenho na deteção de doenças pulmonares. Duas das técnicas XAI tiveram resultados semelhantes, aumentando a confiança nos padrões do modelo e no processo de tomada de decisão. Este modelo tem como objetivo melhorar os cuidados e os resultados dos doentes. Existe uma longa jornada para o desenvolvimento de modelos de IA fiáveis e interpretáveis nos cuidados de saúde e isto deve ser mantido como uma prioridade a fim de melhorar a prestação de cuidados de saúde.