Sentiment analysis in web comments

Abstract

Nowadays, millions of people use the internet. They prefer to consult the Wikipedia instead of searching for information in an offline encyclopedia, prefer a travel website or a blog rather than a travel agency or a pamphlet. This type of site has helped improve people’s lives. The online reviews, for example, have the potential to provide an insight to the future buyers about the product, such as its quality. In addition, these reviews also help the marketers getting an idea about their own product. This trend has influence in many industries, like tourism or culinary. However, the true value of social media data is infrequently discovered due to the overload of information. Furthermore, it is not easily accessible sometimes. So, extracting and processing these data to obtain useful information is important. The purpose of the work described in this thesis was to develop a system which collects and analyzes Portuguese reviews about Tripadvisor hotels plus restaurants and create a web application for visualization of the information obtained. In terms of analysis, the objectives were divided in two: Multi-class and binary classification of the comments using machine learning classifiers and associate the parameters of the places (e.g. ’bedroom’) to feeling markers (e.g. ’great’) giving them a punctuation (one to five). After obtaining and pre-processing the data the sentiment analysis followed. For the first task four classifiers were used: Naive Bayes, Random Forest, Support Vector Machines (SVM) and an LSTM neural network, being LSTM the one that obtained better results (78% and 89% of accuracy for multi-class and binary classification, respectively). The second one was completed with the help of the SyntaxNet tool and neuronal network models, with various associations found and classified.

Hoje em dia milhões de pessoas usam a internet. Preferem consultar a Wikipedia em vez de procurar por informações numa enciclopédia offline, preferem um site de viagens ou um blog em vez de uma agência de viagens ou de panfletos. Este tipo de sites ajudou a melhorar a vida das pessoas. Os comentários online, por exemplo, têm o potencial de fornecer uma visão aos futuros compradores sobre os produtos em avaliação, como é o caso da sua qualidade. Além disso, estes comentários ajudam também os comerciantes a ter uma ideia do seu próprio produto. Esta tendência tem assim influência em muitas indústrias, como turismo ou culinária. No entanto, o verdadeiro valor dos dados da mídia social é raramente descoberto devido à sobrecarga de informação apresentada. Sendo que por vezes esta informação também não é facilmente acessível. Assim, foi considerado importante extrair este tipo de dados (comentários) e trabalhá-los de maneira a obter informações úteis. O objetivo desta tese prende-se então em desenvolver um sistema que obtenha e analise revisões sobre hotéis e restaurantes no TripAdvisor, em português, criando por fim uma aplicação web para visualização das informações obtidas. Em termos de análise, os objetivos foram divididos em dois: classificação multiclasse e binária dos comentários usando classificadores de aprendizagem automática e associar os parâmetros dos locais (por exemplo, ’quarto’) a marcadores de opinião (por exemplo, ’ótimo’), dando-lhes uma pontuação (de um a cinco). Depois da obtenção e pré-processamento dos dados foi então feita a análise de sentimento destes. Para a primeira tarefa de análise foram utilizados quatro classificadores: Naive Bayes, Random Forest, Support Vector Machines (SVM) e uma rede neural LSTM, sendo a LSTM a que obteve melhores resultados (78% e 89% de exatidão para a classificação multiclasse e binária, respetivamente). A segunda tarefa foi completada com a ajuda da ferramenta SyntaxNet e de modelos de redes neurais, tendo sido encontradas e classificadas muitas associações.