Using streaming for monitoring and data integration in information systems

Abstract

These days we deal with so much information that it’s becoming harder to manage and process it, which makes this a major challenge in Information Technology (IT). Handling big data streams from systems in production, namely from sensors and logging information, is one significant example of this difficult work for developers due to the large amount of data, structuring definition, number of sources, data processing, storage, among other issues and concerns. This information is not only relevant to post analysis of system performance but also can be a useful input to tune the system to changes in operations. These changes can be either punctual (e.g. crash) or along time periods (e.g. time of operation, trends/usage patterns). With this in mind, Bosch Thermotechnology, with a factory focused on the production of heating water equipments, has created software development departments dedicated to the development of integrated solutions for these equipments, like boilers and heat pumps. In this context, the HomeCom PRO product, which concerns heat pumps’ systems, include the project "Digital Twin for Real Time Events" as a technological solution created to improve operations and reduce data flows in the system management of heat pumps. Currently there is a lack of an integrated solution that allows gathering of information from systems in operations from heat pumps (hardware) to gateways (software proxies) in order to identify needs of handling critical events or tune to observed patterns. In this work is explored an event-driven architecture supported in Kafka together with InfluxDB, a time series database, to monitor in operation HomeCom PRO setup (from device to full installation level) and, as illustrated, to domain related alarms. The option to use an event-driven architecture makes the integration of simulated (digital twins) or legacy systems (usually interface via the gateways) easier due to the event data model abstraction that allows decoupling monitoring and alarmism from the nature of the observed systems (real, simulated, etc.). Such an approach represents a useful contribution both for operations (real system) and for development (simulating realistic digital twins) to tune current and future alarmists and explore more sophisticated solutions. After concluding the solution development and executing the required tests, it is possible to say that the solution fits the HomeCom PRO’s developers’ needs. Regarding an efficient alarm system, it is possible to detect anomalies on appliance’s activity in real-time to take actions as needed. Finally, monitoring interfaces are an added value for developers to keep track of data flows and system’s health.

Nos dias de hoje lidamos com tamanhas quantidades de informação que se torna cada vez mais difícil geri-la e processá-la, tornando-se, assim, um grande desafio na área da Tecnologia da Informação (TI). A manipulação de fluxos de grandes quantidades de dados em sistemas de produção, nomeadamente de sensores e registos de informação, é um exemplo significativo da dificuldade deste trabalho para os programadores devido à grande quantidade de dados, definição da estruturação, abundância de fontes de dados, processamento, armazenamento, entre outras questões e preocupações. Esta informação é não só relevante para a análise posterior do desempenho do sistema como também pode ser útil para ajustar o sistema às alterações quando em execução. Alterações estas que podem ser pontuais (por exemplo, um bloqueio) ou ao longo de certos períodos de tempo (por exemplo, no tempo de operação, tendências/padrões de uso). Tendo isto em mente, a Bosch Termotecnologia, com uma fábrica focada na produção de equipamentos de aquecimento de água, criou departamentos de desenvolvimento de produtos informáticos (software) dedicados ao desenvolvimento de soluções integradas para estes equipamentos, como caldeiras e bombas de calor. Neste contexto, o HomeCom PRO, que diz respeito aos sistemas de bombas de calor, inclui o projeto "Digital Twins for Real Time Events" como solução tecnológica criada para melhorar as operações e reduzir os fluxos de dados na gestão dos sistemas de bombas de calor. Atualmente existe uma carência de uma solução integrada que permita a recolha de informação de sistemas em funcionamento, desde bombas de calor até às suas portas de acesso (gateways), de forma a identificar necessidades de tratamento de eventos críticos ou sincronizar com padrões observados. Neste trabalho é explorada uma arquitetura orientada a eventos suportada em Kafka juntamente com InfluxDB, uma base de dados de sequências temporais, para monitorizar o HomeCom PRO em execução (desde o dispositivo ao nível de instalação) e, conforme ilustrado, para alarmes dentro do domínio. O uso de uma arquitetura orientada a eventos facilita a integração de sistemas simulados (gémeos digitais) ou herdados/antigos (geralmente interfaces através das portas de acesso) devido à abstração do modelo de dados dos eventos que permite dissociar a monitorização e os alarmes da natureza dos sistemas observados (reais, simulados, etc.). Tal abordagem representa uma contribuição útil tanto para as operações (sistema real) como para o desenvolvimento (simulação de gémeos digitais realistas) para sincronizar os alarmes atuais e futuros e explorar soluções mais sofisticadas. Após concluir o desenvolvimento da solução e realizar os testes necessários, pode-se dizer que a solução atende às necessidades dos programadores do HomeCom PRO. Em relação a um sistema de alarme eficiente, é possível detectar anomalias na atividade do equipamento em tempo real por forma a serem tomadas as ações necessárias no imediato. Por fim, a interface de monitorização é uma mais-valia para os programadores conseguirem acompanhar os fluxos de dados e a integridade do sistema.