Image processing algorithms for drone aerial imagery from the Portuguese coastal zone

Abstract

As humans our vision is one of the most developed sense, we are able to identify and recognize intricate patterns in everything we see. We can perceive colours, shapes, textures, luminance and shadows and with these characteristics we are easily able to process images. Analysing images with the machine learning cooperation humans can monitorize, detect and anticipate the anthropogenic influences. For example we can monitorize and prevent the erosion of the portuguese coastline, or predict climate changes or even monitorize the water and beach pollution. This thesis aims to develop algorithms to segment and classify aerial images of the Portuguese coast. The first step was the study and development of a manual image segmentation algorithm. A tool was designed to segment and annotate these regions with the labels: rock, sea, sand and people. Thereafter, several low-level characteristics were extracted locally, such as colour, entropy, edges, local binary pattern, and the intensities of each pixel in different colour scales (RGB, gray scale and HSV). Regarding the classification part, different clustering algorithms were studied, in particular the K-Means, Affinity Propagation, MeanShift, Spectral, Agglomerative, DBSCAN, OPTICS, BIRCH and their performance was tested with the most common metrics, namely precision, Rand Index, Mutual Information, Adjusted and Normalized, Homogeneity, Completeness, V-Measure, Fowlkes-Mallows and Silhouette so that the classification process for each class is as correct as possible. Finally with the clustering method that obtained the best performance (K-Means) was trained and tested. The train and test process is the most critical factor affecting the success of machine learning. The dataset is divided into two parts, one for training and the other for testing. After the machine learning model is trained according to the training data, it is then tested. The K-Means is trained in order to obtain the centroids of each cluster. These centroids are the crucial element for the final classification. It is then calculated the shortest distance between the centroids and the pixel data of the test images. This distance defines at which cluster the pixel of the test image belongs to, classifying it. In the end this approach revealed satisfying results towards the main goal. With the acquired knowledge I would probably chose different low-level features and more low-level features to obtain a more complete and precise segmentation.

A visão humana é um dos sentidos mais desenvolvido, somos capazes de identificar e reconhecer padrões complexos em tudo o que observamos. Conseguimos distinguir diferentes cores, formas, texturas, intensidades de luz, sombras, entre outras, e com essas características somos facilmente capazes de processar imagens. Ao analisar as imagens com a cooperação da aprendizagem automática os humanos conseguem monitorizar, detectar e antecipar as influências antropogénicas. Por exemplo, podemos monitorizar e prevenir a erosão da costa portuguesa, prever as alterações climáticas ou até mesmo monitorizar a poluição da água e das praias. Esta tese tem como objetivo desenvolver algoritmos para segmentar e classificar imagens aéreas da costa portuguesa. O primeiro passo foi o estudo e desenvolvimento de um algoritmo de segmentação manual de imagens. Foi criada uma ferramenta para segmentar e anotar as regiões com as seguintes etiquetas: rocha, mar, areia e pessoas. De seguida, foram extraídas localmente várias características de baixo nível, como a cor, a entropia, as margens, o padrão binário local e as intensidades de cada pixel nas diferentes escalas de cores (RGB, escala cinzenta e HSV). Em relação à parte de classificação, foram estudados diferentes algoritmos de agregação, em particular o K-Means, Affinity Propagation, MeanShift, Spectral, Agglomerative, DBSCAN, OPTICS, BIRCH e o seu desempenho foi testado através das métricas mais comuns, nomeadamente a precisão, Rand Index, Mutual Information, Adjusted and Normalized, Homogeneity, Completeness, V-Measure, Fowlkes-Mallows e Silhouette para que o processo de classificação de cada classe fosse o mais correto possível. Finalmente, foi treinado e testado o método de agregação que obteve o melhor desempenho (K-Means). O processo de treino e teste é um fator extremamente crítico que afeta o sucesso da aprendizagem automática. O conjunto de dados é dividido em duas partes, uma para treino e outra para teste. Depois de o modelo de aprendizagem automática ter sido treinado de acordo com os dados de treino, o modelo é testado. O K-Means é treinado para obter os centroids de cada cluster. Estes centroids são um elemento crucial para a classificação final. De seguida é calculada a menor distância entre os centroids e os pixeis das imagens de teste. Esta distância vai definir a que cluster pertence o pixel da imagem teste, classificando-o. Para concluir, esta abordagem revelou resultados satisfatórios relativamente ao objetivo principal. Através do conhecimento adquirido, provavelmente escolheria diferentes características de baixo nível e mais características de baixo nível de modo a tornar a segmentação mais completa e precisa.