Framework based on lambda architecture applied to IoT: case scenario

Abstract

Desde o início da primeira década do presente milénio, tem-se testemunhado um aumento exponencial da quantidade de dados produzidos de dia para dia. Numa primeira instância, o aumento foi atribuído aos dados gerados pelos dispositivos GPS; numa segunda fase, à rápida expansão das redes sociais, agora não devido a um fator específico, mas devido ao surgimento de um novo conceito denominado de Internet das Coisas. Este novo conceito, com resultados já mensuráveis, nasceu da premissa de facilitar o dia-a-dia das pessoas fazendo com que os dispositivos eletrónicos comunicassem entre si com o objetivo de sugerir e assistir a pequenas decisões dado os comportamentos observados no passado. Com o objetivo de manter o conceito possível e o estender para além das já existentes aplicações, os dados gerados pelos dispositivos necessitam não apenas de serem armazenados, mas igualmente processados. Adicionando ao volume de dados a sua variedade e velocidade de produção, estes são igualmente fatores que quando não ultrapassados da maneira correta podem apresentar diversas dificuldades, ao ponto de inviabilizarem a criação de novas aplicações baseadas neste novo conceito. Os mecanismos e tecnologias existentes não acompanharam a evolução das novas necessidades, e para que o conceito possa evoluir, novas soluções são obrigatórias. A liderar a lista das novas tecnologias preparadas para este novo tipo de desafios, composto por um sistema de ficheiros distribuído e uma plataforma de processamento distribuída, está o Hadoop. O Hadoop é uma referência para a resolução desta nova gama de problemas, e já comprovou ser capaz de processar enormes quantidades de dados de maneira económica. No entanto, dadas as suas características, tem alguma dificuldade em processar menores quantidades de dados e tem como desvantagem a grande latência necessária para a iniciação do processamento de dados. Num mercado volátil, ser capaz de processar grandes quantidades de dados baseadas em dados passados não é o suficiente. Tecnologias capazes de processar dados em tempo real são igualmente necessárias para complementar as necessidades de processamento de dados anteriores. No panorama atual, as tecnologias existentes não se demonstram à prova de tão distintas necessidades e, quando postas à prova, diferentes produtos tecnológicos necessitam ser combinados. Resultado de um ambiente com as características descritas é o ambiente que servirá de contexto para a execução do trabalho que se segue. Tendo com base as necessidades impostas por um caso de uso pertencente a IoT, através da arquitetura Lambda, diferentes tecnologias serão combinadas com o objetivo de que no final todos os requisitos impostos possam ser ultrapassados. No final, a solução apresentada será avaliada sobre um ambiente real como forma de prova de conceito.

Since the beginning of the first decade of current millennium, it has been witnessed an exponential grow of data being produced every day. First, the increase was given to the amount of data generated by GPS devices, then, the quickly arise of social networks, and now because a new trend as emerged named Internet of Things. This new concept, which is already a reality, was born from the premise of facilitating people's lives by having small electronic devices communicating with each other with the goal to suggest small daily decisions based on the behaviours experienced in the past. With the goal to keep this concept alive and extended further to other applications, the data produced by the target electronic devices is however need to be process and storage. The data volume, velocity and variety are the main variables which when not over planned on the correct way, a wall is created at the point of enviabilize the leverage of the true potential of this new group of applications. Traditional mechanisms and technologies did not follow the actual needs and with the goal to keep the concept alive the address of new technologies are now mandatory. On top of the line, leading the resolution of this new set of challenges, composed by a distributed file system and a parallel processing Framework is Hadoop. Hadoop have proven to fit under the new imposed challenges being capable of process and storage high volumes of data on a cost-effective batch-oriented way. However, given its characteristics on other hand it presents some drawbacks when faced with small amounts of data. In order to gain leverage on market, the companies need not only to be capable of process the data, but process it in a profitable way. Real time processing technologies are needed to complement batch oriented technologies. There is no one size fits all system and with the goal to address the multiples requirements, different technologies are required to be combined. Result of the demanding requirements imposed by the IoT concepts, is the environment which on will be relied the address of the business use case under analyses. Based on the needs imposed by a use case belonging to IoT, through the Lambda architecture, different technologies will be combined with the goal that in the end all the imposed requirements can be accomplished and exceeded. In the end, the solution presented will be evaluated on a real environment as proof of concept.