Exploring data lakehouse as data infrastructure for ambient assisted living

Abstract

Over the past decade, a data explosion has generated 30,000 gigabytes of data every second. Within this data-rich landscape, emergent data infrastructures like data lakes and, notably, data lakehouses have emerged. The data lakehouse represents a revolutionary approach, seamlessly combining the agility of data lakes with the structured querying capabilities of data warehouses. One of our primary objectives is to conduct a comparative analysis and gain a deeper understanding of the distinctions between these concepts (data warehouse, data lake, and data lakehouse). Data lakehouse solutions offer a promising, technology-agnostic approach to handle data from gathering to information extraction and visualization. One relevant context nowadays is Ambient Assisted Living (AAL) systems, which are increasingly essential due to aging populations. AAL environments generate vast amounts of data from various sources, making traditional data management systems inadequate. This dissertation explores implementing a data lakehouse architecture to address technical and privacy concerns associated with integrating sensor data for contextdependent AAL objectives. As a proof of concept scenario, we used smart mirrors, a challenging monitoring solution with potential privacy and resource issues involving real-time video processing to extract health-related measures. The deployed system illustrates the data lakehouse’s ability to cover scenario requirements while following typical data lakehouse architecture blueprints and patterns using open-source solutions. Although a proof of concept, it provided caregivers with tools for informed decision-making through user-friendly dashboards. The system development process also allowed us to highlight some issues and concerns that must be taken into consideration when applying data lakehouse solutions to an AAL-like scenario.

Na última década, uma explosão de dados gerou 30.000 gigabytes de dados por segundo. Neste cenário abundante em dados, surgiram infra-estruturas de dados emergentes, como os data lakes e, nomeadamente, os data lakehouses. O data lakehouse representa uma abordagem revolucionária, combinando na perfeição a agilidade dos data lakes com a capacidade de consulta de dados estrurados dos data warehouses. Um dos nossos principais objectivos é realizar uma análise comparativa e compreender melhor as diferenças entre estes conceitos (data warehouses, data lake e data lakehouse). As soluções de data lakehouse oferecem uma abordagem promissora e independente da tecnologia para tratar os dados desde a recolha até à extração e visualização de informação. Atualmente, um contexto relevante é o dos sistemas de Assistência à Autonomia no Domicílio (AAD), que são cada vez mais essenciais devido ao envelhecimento da população. Os ambientes AAD geram grandes quantidades de dados de várias fontes, tornando os sistemas tradicionais de gestão de dados inadequados. Esta dissertação explora a implementação de uma arquitetura de data lakehouse para resolver problemas técnicos e de privacidade associados à integração de dados de sensores para objectivos dependentes do contexto de AAD. Como cenário de prova de conceito, utilizámos o smart mirror, uma solução de monitorização exigente com potenciais problemas de privacidade e de recursos que envolve o processamento de vídeo em tempo real para extrair medidas relacionadas com a saúde. O sistema implementado ilustra a capacidade do data lakehouse para cobrir os requisitos do cenário, seguindo os esquemas e padrões típicos da arquitetura do data lakehouse, utilizando soluções de código aberto. Embora se trate de uma prova de conceito, forneceu aos prestadores de cuidados ferramentas para a tomada de decisões informadas através de painéis de controlo de fácil utilização. O processo de desenvolvimento do sistema também nos permitiu destacar algumas questões e preocupações que devem ser tidas em consideração quando se aplicam soluções de data lakehouse a um cenário do tipo AAD.