A study of transfer learning for skin lesion classification

Abstract

Transfer learning is a popular solution to the common problem in deep learning that is the lack of data or the computational resources to train large models from scratch, which skin lesion classification is a prime candidate for because high quality medical imaging data in this domain is scarce. This dissertation studies transfer learning in the domain of skin lesion classification by exploring pre-trained models of the VGG16 architecture (originally trained on ImageNet) and repurposing them for skin lesion classification on the ISIC 2018 dataset. Specifically, models of VGG16 are tested by exhaustively testing the layers at which weights are extracted from and up to which they are frozen from further training, concluding that extracting all layers from VGG16 and fine-tuning the last two convolutional blocks to the ISIC 2018 dataset is the most performant configuration. However different choices of optimizer and learning rates could unveil better models. For comparison, two custom CNN architectures are explored and trained from scratch in a typical endto- end learning scheme, from which it can be seen that end-to-end learning of CNN is much harder due to the many different hyperparameters that need to be cross-validated on a wide range of values which is computationally intensive to do thoroughly. In conclusion, transfer learning is a much more practical strategy for skin lesion classification and most other computer vision problems.

A aprendizagem por transferência (transfer learning) é uma solução popular para o problema comum na aprendizagem profunda (deep learning) que é a falta de dados ou de recursos computacionais para treinar grandes modelos a partir do zero, para a qual a classificação de lesões na pele é uma candidata pois os dados de imagens médicas de alta qualidade neste domínio são escassos. Esta dissertação estuda a aprendizagem por transferência no domínio da classificação de lesões na pele, explorando modelos pré-treinados da arquitetura VGG16 (originalmente treinados no ImageNet) e adaptando-os novamente para a classificação de lesões na pele no conjunto de dados ISIC 2018. Especificamente, os modelos de VGG16 são testados exaustivamente variando as camadas nas quais os pesos são extraídos e até as camadas que são congeladas de treino adicional, resultando na conclusão que extrair todas as camadas do modelo e ajustar os dois últimos blocos ao ISIC 2018 é a solução que oferece mais desempenho. No entanto diferentes escolhas de otimizadores e taxas de aprendizagem pode desvendar modelos com melhor desempenho. Para comparação, duas arquiteturas originais de CNN são exploradas e treinadas do zero num esquema típico de aprendizagem, de onde se conclui que o treino de CNN é particularmente difícil dado os vários hiperparâmetros que devem ser validados cruzadamente numa vasta gama de valores, o que é computacionalmente intensivo de fazer completamente. Em conclusão, a aprendizagem por transferência é uma estratégia muito mais prática para classificação binária de lesões na pele e a maior parte de problemas de visão por computador.