Please use this identifier to cite or link to this item:
http://hdl.handle.net/10773/41805
Title: | Using streaming for monitoring and data integration in information systems |
Other Titles: | Streaming na monitorização e integração de dados de sistemas de informação |
Author: | Pombeiro, Ricardo Jorge Bacalhau |
Advisor: | Fernandes, José Maria Amaral Santos, José Paulo Oliveira |
Keywords: | Alarms Digital twin Event-driven Heat pump Monitoring Observability Sensors Streaming Time series database |
Defense Date: | 4-Jul-2023 |
Abstract: | These days we deal with so much information that it’s becoming harder to manage
and process it, which makes this a major challenge in Information Technology (IT).
Handling big data streams from systems in production, namely from sensors and
logging information, is one significant example of this difficult work for developers
due to the large amount of data, structuring definition, number of sources,
data processing, storage, among other issues and concerns. This information is
not only relevant to post analysis of system performance but also can be a useful
input to tune the system to changes in operations. These changes can be either
punctual (e.g. crash) or along time periods (e.g. time of operation, trends/usage
patterns). With this in mind, Bosch Thermotechnology, with a factory focused
on the production of heating water equipments, has created software development
departments dedicated to the development of integrated solutions for these equipments,
like boilers and heat pumps. In this context, the HomeCom PRO product,
which concerns heat pumps’ systems, include the project "Digital Twin for Real
Time Events" as a technological solution created to improve operations and reduce
data flows in the system management of heat pumps. Currently there is a
lack of an integrated solution that allows gathering of information from systems
in operations from heat pumps (hardware) to gateways (software proxies) in order
to identify needs of handling critical events or tune to observed patterns. In this
work is explored an event-driven architecture supported in Kafka together with
InfluxDB, a time series database, to monitor in operation HomeCom PRO setup
(from device to full installation level) and, as illustrated, to domain related alarms.
The option to use an event-driven architecture makes the integration of simulated
(digital twins) or legacy systems (usually interface via the gateways) easier due to
the event data model abstraction that allows decoupling monitoring and alarmism
from the nature of the observed systems (real, simulated, etc.). Such an approach
represents a useful contribution both for operations (real system) and for development
(simulating realistic digital twins) to tune current and future alarmists and
explore more sophisticated solutions. After concluding the solution development
and executing the required tests, it is possible to say that the solution fits the
HomeCom PRO’s developers’ needs. Regarding an efficient alarm system, it is
possible to detect anomalies on appliance’s activity in real-time to take actions as
needed. Finally, monitoring interfaces are an added value for developers to keep
track of data flows and system’s health. Nos dias de hoje lidamos com tamanhas quantidades de informação que se torna cada vez mais difícil geri-la e processá-la, tornando-se, assim, um grande desafio na área da Tecnologia da Informação (TI). A manipulação de fluxos de grandes quantidades de dados em sistemas de produção, nomeadamente de sensores e registos de informação, é um exemplo significativo da dificuldade deste trabalho para os programadores devido à grande quantidade de dados, definição da estruturação, abundância de fontes de dados, processamento, armazenamento, entre outras questões e preocupações. Esta informação é não só relevante para a análise posterior do desempenho do sistema como também pode ser útil para ajustar o sistema às alterações quando em execução. Alterações estas que podem ser pontuais (por exemplo, um bloqueio) ou ao longo de certos períodos de tempo (por exemplo, no tempo de operação, tendências/padrões de uso). Tendo isto em mente, a Bosch Termotecnologia, com uma fábrica focada na produção de equipamentos de aquecimento de água, criou departamentos de desenvolvimento de produtos informáticos (software) dedicados ao desenvolvimento de soluções integradas para estes equipamentos, como caldeiras e bombas de calor. Neste contexto, o HomeCom PRO, que diz respeito aos sistemas de bombas de calor, inclui o projeto "Digital Twins for Real Time Events" como solução tecnológica criada para melhorar as operações e reduzir os fluxos de dados na gestão dos sistemas de bombas de calor. Atualmente existe uma carência de uma solução integrada que permita a recolha de informação de sistemas em funcionamento, desde bombas de calor até às suas portas de acesso (gateways), de forma a identificar necessidades de tratamento de eventos críticos ou sincronizar com padrões observados. Neste trabalho é explorada uma arquitetura orientada a eventos suportada em Kafka juntamente com InfluxDB, uma base de dados de sequências temporais, para monitorizar o HomeCom PRO em execução (desde o dispositivo ao nível de instalação) e, conforme ilustrado, para alarmes dentro do domínio. O uso de uma arquitetura orientada a eventos facilita a integração de sistemas simulados (gémeos digitais) ou herdados/antigos (geralmente interfaces através das portas de acesso) devido à abstração do modelo de dados dos eventos que permite dissociar a monitorização e os alarmes da natureza dos sistemas observados (reais, simulados, etc.). Tal abordagem representa uma contribuição útil tanto para as operações (sistema real) como para o desenvolvimento (simulação de gémeos digitais realistas) para sincronizar os alarmes atuais e futuros e explorar soluções mais sofisticadas. Após concluir o desenvolvimento da solução e realizar os testes necessários, pode-se dizer que a solução atende às necessidades dos programadores do HomeCom PRO. Em relação a um sistema de alarme eficiente, é possível detectar anomalias na atividade do equipamento em tempo real por forma a serem tomadas as ações necessárias no imediato. Por fim, a interface de monitorização é uma mais-valia para os programadores conseguirem acompanhar os fluxos de dados e a integridade do sistema. |
URI: | http://hdl.handle.net/10773/41805 |
Appears in Collections: | UA - Dissertações de mestrado DETI - Dissertações de mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Documento_Ricardo_Pombeiro.pdf | 4.17 MB | Adobe PDF |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.