Self-supervised machine learning: a new hope for gravitational wave detection?

Abstract

In this thesis, the problem of the appearance of ”glitches” during the detection of gravitational wave signals is addressed. ”Glitches” are classified as noise (excluding background noise), whose origin may be due to the instrumentation used in the detectors or natural causes. Initially, a short introduction is made in this thesis about the operation of LIGO detectors, gravitational waves, and glitches, in the initial chapters. To solve the problem addressed, the use of neural networks is proposed to classify and identify the glitches that appear during data acquisition. Supervised learning methods together with self-supervised learning were used to train neural networks and classify spectrograms that contain frequency versus time information for each corresponding signal. The selected neural network architecture was ”Resnet18”, and the optimizer selected was ”AdamW”. The selected loss function was ”Cross-Entropy”. Three training sessions were conducted for each model: model (I) used supervised learning, and models (II) and (III) used self-supervised learning. The model (III) used self-supervised learning with the knowledge acquired from model (II) through ”transfer learning”. The training of these neural networks, led to high values for the metrics used in this thesis. The highest accuracies obtained were about 96.81%, 96.74% and 96.50% for the corresponding models (I), (II), and (III), while the best macro averaged F1-score was about 94.49%, 96.75% and 94.15%, with hardly any difference in metrics in the method employed.

Nesta tese é abordado o problema do aparecimento de ”glitches” durante a deteção de sinais de ondas gravitacionais. ”glitches” são classificados como ruído, cuja origem pode ser devido a instrumentação usada nos detetores ou terem origem em causas naturais. No trabalho apresentado nesta tese é feita inicialmente uma pequena introdução sobre o funcionamento dos detetores LIGO, ondas gravitacionais e ”Glitches” nos primeiros capítulos. Para resolver o problema abordado ´e proposto o uso de redes para classificar e identificar os ”Glicthes” que aparecem durante a leitura dos dados adquiridos pelos detetores. Métodos de aprendizagem supervisonada em conjunto com aprendizagem autosupervisonada foram usados para treinar redes neuronais para que possam classificar imagens que contêm informação na forma de espetrogramas para cada sinal correspondente. A arquitetura da rede neuronal selecionada foi a Resnet18 e para o treino o optimizador selecionado foi o ”AdamW”. A função de custo selecionada foi a ”Cross-Entropy”. Foram realizados três sessões de treinos, uma sessão por cada modelo: modelo (I) usou aprendizagem supervisionada, os modelos (II) e (III) usaram aprendizagem auto-supervisionada. O modelo (III) usou aprendizagem auto-supervisionada usando os conhecimentos adquiridos do modelo (II) através de uma metedologia designada por ”transfer learning”. Após o treino destas redes neuronais os resultados obtidos foram de facto bastante satisfatórios com valores elevados das métricas utilizadas. As melhores exatidões obtidas foram cerca de 96.81%, 96.74% e 96.50% para as correspondentes modelos (I), (II) e (III) enquanto que os melhores F1-score foi cerca de 94.49%, 96.75% e 94.15% não havendo muita diferença nas métricas no método usado.