Exploring transformers for aspect based sentiment analysis

Abstract

In recent years, sentiment analysis has gained significant attention for its wide range of applications in various domains. Aspect-based sentiment analysis (ABSA) is a challenging task within sentiment analysis that aims to identify the sentiment polarity towards specific aspects or attributes of a target entity in a given text. Transformers, a type of deep neural network architecture, have shown promising results in many natural language processing (NLP) tasks, including sentiment analysis. This dissertation explores the effectiveness of a BERT+BiLSTM+CRF model for ABSA and investigates the impact of model sizes and layer freezing. Several experiments are performed using different ABSA datasets, comparing the results with existing state-of-the-art models. The findings indicate that increasing model size is not necessarily the best approach to improve performance, and freezing a subset of layers can lead to comparable results with reduced computational requirements. The study also highlights the impact of pretraining methods and datasets in downstream tasks. The developed end-to-end system is modular, allowing for the replacement of BERT with any other transformer-based model based on the use case. The research contributes to the understanding of transformer-based models for ABSA and provides insights for future studies in this field.

Nos últimos anos, a análise de sentimentos ganhou atenção significativa por sua ampla gama de aplicações em vários domínios. A análise de sentimentos baseada em aspetos (ABSA) é uma tarefa desafiadora dentro da análise de sentimentos que visa identificar a polaridade do sentimento em relação a aspetos ou atributos específicos de uma entidade alvo em um determinado texto. Os transformadores, um tipo de arquitetura de rede neural profunda, mostraram resultados promissores em muitas tarefas de processamento de linguagem natural (NLP), incluindo análise de sentimento. Esta dissertação explora a eficácia de um modelo BERT+BiLSTM+CRF para ABSA e investiga o impacto dos tamanhos dos modelos e congelamento de camadas. Foram realizadas várias experiências usando diferentes conjuntos de dados ABSA, comparando os resultados com modelos de última geração existentes. Os resultados indicam que aumentar o tamanho do modelo não é necessariamente a melhor abordagem para melhorar o desempenho, e congelar um subconjunto de camadas pode levar a resultados comparáveis com requisitos computacionais reduzidos. O estudo também destaca o impacto dos métodos de pré-treino e conjuntos de dados em tarefas posteriores. O sistema end-to-end desenvolvido é modular, permitindo a substituição do modelo BERT por qualquer outro modelo baseado em transformador baseado no caso de uso. A pesquisa contribui para a compreensão de modelos baseados em transformadores para ABSA e fornece indicadores para estudos futuros neste campo.