Deep learning for multi-class skin lesion diagnosis

Abstract

Machine learning, more specifically, deep learning is a fast-growing field that is being used for multiple medical imaging related problems, such as the early detection of skin cancer. For a long time, automated diagnosis of skin lesions from clinical images through deep learning was considered to be out of reach. However, recent advancements in deep neural networks allowed it to achieve state-of-the-art results on classification challenges and they have the potential to change the landscape of dermatology care. Moreover, there is a growing need for classification systems to reduce fatality rates of skin cancer by providing support for both dermatologists in the decision-making process and for patients that do not have access to expert physicians. This dissertation presents a systematic approach towards an multi-class (8 classes) deep learning classifier of skin lesions for the ISIC 2019 benchmark challenge. It attempts to study major open research points related to the effectiveness of state-of-the-art deep learning methods. The results indicate that recent CNN architectures can have a significant impact on the overall performance of deep learning based classifiers. However, these pre-trained models should be carefully re-purposed towards skin lesion classification through transfer learning methods. This work provides insight into major ways of improving the generalization performance of deep learning models towards skin lesion diagnosis. In this context, the impact of different image processing augmentation methods for offline and online data augmentation is studied. On the one hand, class balancing through offline data augmentation can significantly improve the generalization performance of underrepresented classes. On the other hand, online data augmentation brings considerable improvements towards overfitting reduction. Furthermore, this work provides a practical analysis of ensembles in the context of skin lesion diagnosis. Both the single model and the ensemble-model approach outperform the current state-of-the-art for the ISIC 2019 challenge, with a balanced multi-class accuracy of 0.815 and 0.846, respectively. Finally, experiments were made with different ways to detect out of training distribution data. The results contribute towards the understanding of the effectiveness of out-of-distribution detection methods in the context of deep learning based skin lesion classifiers.

Aprendizagem profunda é um ramo de aprendizagem automática que tem crescido rapidamente e que tem sido usada em problemas relacionados com imagem médica, tais como a deteção de cancro da pele. Durante muito tempo, o diagnóstico de lesões de pele através de imagens clínicas usando aprendizagem profunda era algo considerado inalcançável. No entanto, avanços recentes em redes neuronais profundas permitiram obter resultados de referência em tarefas de classificação. Além disto, existe uma necessidade crescente de sistemas capazes de automatizar este tipo de diagnósticos para reduzir a taxa de mortalidade causada por cancro da pele. Isto proporcionará suporte a dermatologistas no processo de decisão e a pacientes que não tenham fácil acesso a médicos especialistas. Esta dissertação apresenta uma abordagem sistemática tendo em vista o desenvolvimento de um classificador multiclasse (8 classes) para o diagnóstico automático de lesões de pele. O estudo visa analisar um conjunto de metodologias de aprendizagem profunda que permitam responder a questões relacionadas com a sua eficácia. Os resultados indicam que os modelos pre-treinados, baseados em arquiteturas convolucionais, têm um impacto significativo no desempenho desde que sejam devidamente reaproveitados usando aprendizagem por transferência. Este trabalho proporciona uma visão mais clara sobre a influência de diferentes métodos na capacidade de generalização destes modelos. Neste contexto, o impacto de diferentes métodos de processamento de imagem para o aumento de dados é revelado. Por um lado, o balanceamento de classes através do aumento de dados offline permite melhorar significativamente o desempenho de classes sub-representadas. Por outro lado, o aumento de dados on-line traz melhorias consideráveis na redução do sobreajuste (overfitting). Adicionalmente, é fornecida uma análise prática de métodos de ensemble no contexto do diagnóstico de lesões de pele. Os resultados obtidos com um modelo pre-treinado e com o ensemble superam o atual estado da arte da competição ISIC 2019, com uma acurácia balanceada (balanced accuracy) de 0,815 e 0,846, respetivamente. Finalmente, foram feitas experiências com diferentes algoritmos para detetar dados que não pertencem à distribuição que resulta das 8 classes originais. Os resultados obtidos contribuem para a compreensão da eficácia destes métodos no contexto de classificadores de lesões de pele.