Identificação de sítios arqueológicos em imagem aérea utilizando aprendizagem profunda

Abstract

Esta dissertação foi desenvolvida no âmbito do projeto ODISSEY financiado pelo programa PORTUGAL2020. Este projeto tem como objetivo desenvolver uma plataforma integrada de informação geográfica destinada a arqueólogos e técnicos de património. A identificação de sítios arqueológicos produz informações complementares, que permitem consolidar as fontes de informação patrimonial já existentes. A identificação e deteção são realizadas de forma automática através de técnicas de aprendizagem profunda, com base em dados provenientes de métodos não intrusivos, como por exemplo, LiDAR. Contudo, é necessário um pré-processamento e anotação destes dados por forma a tornar possível o uso de algoritmos de aprendizagem profunda. Nesta dissertação foram usados dados adquiridos na área do distrito de Viana do Castelo situado no norte de Portugal, onde existem 136 objetos arqueológicos identificados e conhecidos por mamoas. Após todo o processamento de dados estar finalizado, é possível aplicar algoritmos de aprendizagem automática, tendo sido explorados nesta dissertação os modelos YOLOv5, Mask R-CNN e CNN. O treino com YOLOv5 e Mask R-CNN é feito através da afinação de modelos pré-treinados. É ainda realizado um estudo acerca do impacto do tamanhos da caixa delimitadora a serem usados na anotação das mamoas. O algoritmo CNN personalizado apenas é usado para a melhor dimensão encontrada com YOLOv5 e Mask R-CNN. No final, é feita a inferência a toda a imagem do distrito por forma a verificar o comportamento dos modelos obtidos e descobrir possíveis objetos arqueológicos ainda não identificados por ação humana. Desta forma, esta descoberta é transmitida através de coordenadas geográficas para permitir aos especialistas uma ida ao terreno e confirmar a descoberta.

This dissertation was developed within the scope of the ODISSEY project financed by PORTUGAL2020 program. This project aims to develop an integrated platform for geographic information aimed at archaeologists and heritage technicians. The identification of archaeological sites produces complementary information, which allows the consolidation of existing heritage information sources. Identification and detection are performed automatically through deep learning techniques based on data from non-intrusive methods, such as LiDAR. However, pre-processing and annotation of these data are necessary to make possible the use of deep learning algorithms. This pre-processing is necessary because the data is not correctly annotated to be used. In this dissertation, the data acquired in the area of the district Viana do Castelo located in the north of Portugal were used, where there are 136 archaeological objects identified and known as ’mamoas’. After all data processing is completed, it is possible to apply machine learning algorithms, having been explored in this dissertation the YOLOv5, Mask R-CNN and CNN models. Training with YOLOv5 and mask R-CNN is done by fine tuning with pre-trained models. A study is also carried out on the impact of the sizes of the bounding box to be used in the annotation of ’mamoa’. The custom CNN is only used for the best dimension found with YOLOv5 and Mask R-CNN. In the end, an inference is made to the entire image of the district to verify the behavior of the models obtained and to discover possible archaeological objects not yet identified by human action. In this way, this discovery is transmitted through geographic coordinates to allow specialists to go to the field and confirm the discovery.