VCE dataset generation: active learning solutions for binary classification in informative vs uninformative frames

Abstract

Video Capsule Endoscopy is a non-invasive image technique that allows the observation of the small bowel. However, it requires review and Annotation of up to 8 to 10 hours of videos that need to be reviewed by a medical expert, which is very time-consuming. State-of-the-art Machine Learning methods now have the power to assist experts by automatically classifying findings in the video frames, but big Video Capsule Endoscopy annotated datasets are needed, which requires an unaffordable effort. Active Learning methodologies can be used to optimize dataset annotation through the intelligent identification of the samples to be annotated in big non-annotated datasets that most contribute to model learning. In this dissertation, a study of Active Learning to create VCE datasets, in order to solve a binary problem related to the classification between informative and uninformative frames, was made. We explored some Active Learning techniques, such as Least Confidence Sampling and Margin Sampling, to conclude about the annotation effort and the capability to rapidly create representative datasets. It was verified that Least Confidence Sampling was the more appropriate technique for our data, given the accuracy when dividing unseen video frames into informative and uninformative; and that Active Learning has the potential to expand the existing datasets using less data and human effort.

A Cápsula Endoscópica é uma técnica de imagem não invasiva que permite a observação do intestino delgado. No entanto, requer revisão e anotação de vídeos de duração entre 8 a 10 horas, que necessitam de ser revistos por um profissional de saúde, o que torna esta tarefa demorada. Métodos de Machine Learning atuais já conseguem assistir os profissionais através da classificação automática de descobertas nas imagens, no entanto, para atingir este estado grandes datasets de vídeos de Cápsula Endoscópica são necessários, o que requer uma quantidade de esforço insustentável. Métodos de Active Learning podem ser usados para otimizar a anotação através da identificação inteligente de imagens para serem anotadas, num grande dataset não anotado, que vão contribuir para a aprendizagem do modelo. Nesta dissertação, um estudo de Active Learning para a criação de datasets de VCE para resolver problemas binários relacionados com a classificação de imagens em informativas e não informativas, foi realizado. Algumas técnicas de Active Learning foram exploradas, tais como Least Confidence Sampling e Margin Sampling, para se concluir sobre o esforço de anotação e a rápida criação de datasets representativos. Foi verificado que o Least Confidence Sampling foi o método que melhor se adaptou aos nossos dados, dada a precisão obtida ao dividir imagens nunca vistas pelo modelo, em informativas e não informativas; e que o Active Learning tem o potencial para expandir os datasets utilizando menos dados e menos esforço humano.