Web machine learning services

Abstract

Deep learning has become increasingly popular over the years, having proved their efficiency in input-output functions for distinct types of data. However, their mathematical complexity and the training optimizations can be challenging. Moreover, access to dedicated hardware and the setup of a working environment is most of the times a barrier to its usage. This dissertation describes the design and implementation of a web platform to be used by students and advanced researchers. This platform aims to abstract the processes behind this technology and simplify its usage. It is a multi-user distributed platform that offers services, software and hardware, through a common web browser interface. The solution allows easy addition of new computational nodes, the upload of datasets, the visual design of models and datasets, the monitoring of hardware and training sessions, and also supports validation and test procedures.

A utilização de deep learning tem vindo a aumentar em diferentes áreas aplicacionais devido à sua eficiência em processos de previsão e à capacidade de se adaptar a vários tipos de dados. No entanto, a sua complexidade matemática e as otimizações dos processos de treino são desafiantes. Mais ainda, o acesso a hardware dedicado e a configuração correcta de um ambiente de trabalho são muitas vezes barreiras à sua utilização. Esta dissertação propõe uma arquitetura e descreve a implementação de uma plataforma web de serviços de deep learning para utilização de estudantes e investigadores. Esta plataforma permite abstrair os processos complexos que suportam esta tecnologia, simplificando e democratizando o seu uso. Trata-se de uma solução distribuída e multiutilizador que oferece serviços, desde hardware a software, através de um navegador web comum. A solução permite a adição fácil de unidades computacionais de processamento, a inserção de dados de estudo, o desenho dos modelos com ferramentas visuais, a monitorização de sessões de treino, teste e validação destes modelos.