Dynamic evaluation for reactive scenarios

Abstract

A natureza dinâmica de cenários como Ambient Assisting Living e ambientes pervasivos e ubíquos criam contextos de avaliação exigentes que não são completamente considerados pelos métodos existentes. Esta tese defende que são possíveis avaliações que tenham em consideração a natureza dinâmica e heterogénea de ambientes reactivos, integrando aspectos como percepção e dependência de contexto, adaptabilidade ao utilizador, gestão de eventos complexos e diversidade de ambientes. O principal objectivo deste trabalho foi desenvolver uma solução que forneça aos avaliadores a possibilidade de definir e aplicar avaliações a utilizadores suportadas por um modelo de avaliação flexível, permitindo a criação e reutilização de instrumentos e especificações de avaliação sem modificar a infraestrutura geral. Para atingir este objectivo foi seguida uma abordagem de engenharia envolvendo: a) definição de requisitos; b) conceptualização de uma solução geral contendo um paradigma, uma metodologia, um modelo e uma arquitectura; c) implementação dos componentes nucleares; d) desenvolvimento e teste de provas de conceito. Como resultado principal obteve-se uma solução de avaliação dinâmica para ambientes reactivos integrando três partes essenciais: um paradigma, uma metodologia e uma arquitectura de suporte. No seu conjunto, esta solução permite a criação de sistemas de avaliação escaláveis, flexíveis e modulares para concepção de avaliações e aplicação em ambientes reactivos.

The dynamic nature of scenarios such as Ambient Assisting Living and Ubiquitous and Pervasive environments turns them into challenging evaluation contexts not properly addressed by existing methods. We argue that it is possible to have evaluations that take into consideration the dynamic and heterogeneous nature of reactive environments by integrating aspects such as context-awareness, user adaptability, complex event handling, and environment diversity. In this context, the main objective of this work was to develop a solution providing evaluators with the ability to de ne and apply evaluation tests to end-users supported by a exible evaluation model allowing them to create or reuse evaluation instruments and speci cations without changing the infrastructure or the need for other logistical necessities. To pursue this goal, we adopted an engineering approach encompassing: a) requirements de nition; b) conceptualization of a general solution comprising paradigm, methodology, model, and architecture; c) implementation of its core components; and d) development and deployment of a proof of concept. The result was a dynamic evaluation solution for reactive environments based on three major parts: a paradigm, a methodology and its model, and a support architecture. Altogether, they enable the creation of scalable, exible and modular evaluation systems for evaluation design and application in reactive environments. Overall, we consider that the proposed approach, due to its exibility and scope, widely surpasses the goals considered on the onset of this work. With a broad range of features it establishes itself as a general purpose evaluation solution, potentially applicable to a wider range of scenarios, and fostering the creation of ubiquitous and continuous evaluation systems.