Image segmentation algorithms based on deep learning for drone aerial imagery from the Portuguese coastal zone

Abstract

As human-induced pressures continue to rise in the coastal zone, there is an increasing need to resourcefully predict, detect and monitor environmental patterns to support large scale conservation strategies. The Portuguese coastal zone is the home to profuse biological communities, including mussels, which are a key ecological species for the biodiversity of seashore ecosystems, supporting and shielding a vast amount of invertebrate species. Additionally, the improvement of unmanned aerial devices and high-resolution aerial photography have provided the possibility to produce large temporal and spatial datasets while subsiding both biological and physical disturbances in the ecosystems. On this basis, a low-altitude and high resolution aerial image set was captured by a research team from the Biology Department of the University of Aveiro to measure the coverage, size and density of mussels along the Portuguese shoreline. With this newly-gathered dataset, a group from the Department of Electronics, Telecommunications and Informatics, from the same institution, took the initiative to create computer vision algorithms through deep learning in order to assist the analysis of the collected data and verify the viability of the data-gathering methods. This work presents all the thorough procedures executed to answer the proposed challenge, from the development of a functional pixel-wise image segmentation dataset, to the development of predicting models using renowned architectures in the deep learning community, capable of achieving good results to enable the understanding of the dynamics of the ecosystem and predict the mussel abundance under distinct environmental scenarios. Furthermore, the solution has the potential to grow and be improved further. By exploring a new dataset that may open new doors for understanding and classification of coastal zones, with models that could potentially be re-trained in the future for different kinds of shores and intertidal zones with more and other animal communities, this work also proves the possibility of using deep learning models to analyze image data acquired from drones and hopes to allow further research on the subject and on different types of areas and vegetation.

À medida que as pressões induzidas pelo homem continuam a aumentar na zona costeira, há uma necessidade crescente de prever, detetar e monitorizar padrões ambientais para apoiar estratégias de conservação em grande escala. A zona costeira portuguesa é o lar de comunidades biológicas abundantes, incluindo mexilhões, que são uma espécie ecológica chave para a biodiversidade dos ecossistemas costeiros, apoiando e protegendo uma vasta quantidade de espécies invertebradas. Adicionalmente, o aperfeiçoamento dos dispositivos aéreos não tripulados e da fotografia aérea de alta resolução proporcionaram a possibilidade de produzir grandes conjuntos de dados temporais e espaciais, reduzindo ao mesmo tempo tanto perturbações biológicas como físicas nos ecossistemas. Nesta base, um conjunto de imagens aéreas de baixa altitude e alta resolução foi capturado por uma equipa de investigação do Departamento de Biologia da Universidade de Aveiro para medir a cobertura, tamanho e densidade dos mexilhões ao longo da costa portuguesa. Com este conjunto de dados reunido, um grupo do Departamento de Eletrónica, Telecomunicações e Informática, da mesma instituição, tomou a iniciativa de criar algoritmos de visão computacional através de deep learning, com o objetivo de auxiliar a análise das imagens recolhidas e verificar a viabilidade dos métodos de recolha de dados. Este trabalho apresenta todos os procedimentos exaustivos efetuados para responder ao desafio proposto, desde o desenvolvimento de um conjunto de dados funcional para segmentação de imagens ao nível do pixel, até ao desenvolvimento de modelos preditivos utilizando arquiteturas de renome na comunidade de deep learning, capazes de alcançar bons resultados para permitir a compreensão da dinâmica do ecossistema e prever a abundância dos mexilhões em cenários ambientais distintos. Além disso, a solução apresenta potencial para crescer e ser futuramente aperfeiçoada. Ao explorar um novo conjunto de dados que poderá abrir novas portas para a compreensão e classificação das zonas costeiras, com modelos que poderão ser potencialmente re-treinados no futuro para diferentes tipos de costas e zonas intertidais com mais e outras comunidades animais, este trabalho prova também a possibilidade de utilizar modelos de deep learning para analisar dados adquiridos através de drones e espera possibilitar uma investigação mais aprofundada no tema e em diferentes tipos de áreas e vegetação.