Automatic audio signal analysis for the detection of anomalies in calls

Abstract

Machine Learning (ML) is one of the fastest growing technologies in recent years, having the ability to add value to workflows and to existing technologies. An aspect of ML that is present in many enterprise applications is the detection of anomalies. This project aims to create a system for call anomaly detection in a contact center context, more precisely detection of audio cuts. For this, it was researched the best features and models for the solution, by understanding the original data set; re-labeling it to improve the data representation; extracting relevant features, to distinguish the classes; and selecting the most relevant ones to the system. The models used to create the system were the Support Vector Classifier (SVC) and the Random Forest Classifier, the last one having shown the best performance. A clustering-based approach was also performed on the class that represented the calls with worse audio quality, through the implementation of the K-means algorithm, revealing the possible stratification of two different types of calls within this class. The results showed that the Random Forest was the best performing model, so it was used in the final solution. This solution was inserted into a web app for integration in a business context allowing to improve the Quality of Service (QoS) in contact centers.

A Aprendizagem Automática (AA) é uma das tecnologias de mais rápido crescimento nos últimos anos, tendo a capacidade de acrescentar valor aos fluxos de trabalho e às tecnologias existentes. Uma vertente da AA que está presente em muitas aplicações empresariais é a detecção de anomalias. Este projecto visa a criação de um sistema de detecção de anomalias de chamadas no contexto de contact centers, mais precisamente a detecção de cortes no áudio. Para tal, foram investigadas as melhores características e modelos para a solução, através da compreensão do conjunto de dados original; criação de novas classes para melhorar a representação dos dados; extracção de características relevantes, para distinguir as classes; e selecção das mais relevantes para o sistema. Os modelos utilizados para criar o sistema foram o Support Vector Classifier (SVC) e o Random Forest Classifier, tendo este último mostrado o melhor desempenho. Foi também realizada uma abordagem baseada em clustering na classe que representava as chamadas com pior qualidade de áudio, através da implementação do algoritmo K-means, revelando a possível estratificação de dois tipos diferentes de chamadas dentro desta classe. Os resultados mostraram que o Random Forest era o modelo com melhor desempenho, pelo que foi utilizado na solução final. Esta solução foi inserida numa aplicação web para integração num contexto empresarial permitindo melhorar a Qualidade de Serviço nos Contact Centers.