Please use this identifier to cite or link to this item: http://hdl.handle.net/10773/41714
Title: Exploring data lakehouse as data infrastructure for ambient assisted living
Other Titles: Explorar data lakehouse como infraestrutura para assistência à autonomia
Author: Cunha, Diogo Guilherme Rocha
Advisor: Fernandes, José Maria Amaral
Oliveira, Ilídio Fernando de Castro
Keywords: Data lake
Data lakehouse
Smart mirror
Smart home
Ambient assisted living
Defense Date: 29-Nov-2023
Abstract: Over the past decade, a data explosion has generated 30,000 gigabytes of data every second. Within this data-rich landscape, emergent data infrastructures like data lakes and, notably, data lakehouses have emerged. The data lakehouse represents a revolutionary approach, seamlessly combining the agility of data lakes with the structured querying capabilities of data warehouses. One of our primary objectives is to conduct a comparative analysis and gain a deeper understanding of the distinctions between these concepts (data warehouse, data lake, and data lakehouse). Data lakehouse solutions offer a promising, technology-agnostic approach to handle data from gathering to information extraction and visualization. One relevant context nowadays is Ambient Assisted Living (AAL) systems, which are increasingly essential due to aging populations. AAL environments generate vast amounts of data from various sources, making traditional data management systems inadequate. This dissertation explores implementing a data lakehouse architecture to address technical and privacy concerns associated with integrating sensor data for contextdependent AAL objectives. As a proof of concept scenario, we used smart mirrors, a challenging monitoring solution with potential privacy and resource issues involving real-time video processing to extract health-related measures. The deployed system illustrates the data lakehouse’s ability to cover scenario requirements while following typical data lakehouse architecture blueprints and patterns using open-source solutions. Although a proof of concept, it provided caregivers with tools for informed decision-making through user-friendly dashboards. The system development process also allowed us to highlight some issues and concerns that must be taken into consideration when applying data lakehouse solutions to an AAL-like scenario.
Na última década, uma explosão de dados gerou 30.000 gigabytes de dados por segundo. Neste cenário abundante em dados, surgiram infra-estruturas de dados emergentes, como os data lakes e, nomeadamente, os data lakehouses. O data lakehouse representa uma abordagem revolucionária, combinando na perfeição a agilidade dos data lakes com a capacidade de consulta de dados estrurados dos data warehouses. Um dos nossos principais objectivos é realizar uma análise comparativa e compreender melhor as diferenças entre estes conceitos (data warehouses, data lake e data lakehouse). As soluções de data lakehouse oferecem uma abordagem promissora e independente da tecnologia para tratar os dados desde a recolha até à extração e visualização de informação. Atualmente, um contexto relevante é o dos sistemas de Assistência à Autonomia no Domicílio (AAD), que são cada vez mais essenciais devido ao envelhecimento da população. Os ambientes AAD geram grandes quantidades de dados de várias fontes, tornando os sistemas tradicionais de gestão de dados inadequados. Esta dissertação explora a implementação de uma arquitetura de data lakehouse para resolver problemas técnicos e de privacidade associados à integração de dados de sensores para objectivos dependentes do contexto de AAD. Como cenário de prova de conceito, utilizámos o smart mirror, uma solução de monitorização exigente com potenciais problemas de privacidade e de recursos que envolve o processamento de vídeo em tempo real para extrair medidas relacionadas com a saúde. O sistema implementado ilustra a capacidade do data lakehouse para cobrir os requisitos do cenário, seguindo os esquemas e padrões típicos da arquitetura do data lakehouse, utilizando soluções de código aberto. Embora se trate de uma prova de conceito, forneceu aos prestadores de cuidados ferramentas para a tomada de decisões informadas através de painéis de controlo de fácil utilização. O processo de desenvolvimento do sistema também nos permitiu destacar algumas questões e preocupações que devem ser tidas em consideração quando se aplicam soluções de data lakehouse a um cenário do tipo AAD.
URI: http://hdl.handle.net/10773/41714
Appears in Collections:UA - Dissertações de mestrado
DETI - Dissertações de mestrado

Files in This Item:
File Description SizeFormat 
Documento_Diogo_Cunha.pdf6.99 MBAdobe PDFView/Open


FacebookTwitterLinkedIn
Formato BibTex MendeleyEndnote Degois 

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.