A systematic approach for the integration of emotional context in interactive systems

Abstract

In interactive systems, knowing the user's emotional state is not only important to understand and improve overall user experience, but also of the utmost relevance in scenarios where such information might foster our ability to help users manage and express their emotions (e.g., anxiety), with a strong impact on their daily life and on how they interact with others. Nevertheless, although there is a clear potential for emotionally-aware applications, several challenges preclude their wider availability, sometimes resulting from the low translational nature of the research in affective computing, and from a lack of straightforward methods for easy integration of emotion in applications. While several toolkits have been proposed for emotion extraction from a variety of data, such as text, audio and video, their integration still requires a considerable development effort that needs to be repeated for every deployed application. In light of these challenges, we present a conceptual vision for considering emotion in the scope of multimodal interactive systems, proposing a decoupled approach that can also foster an articulation with research in affective computing. Following this vision, we developed an affective generic modality, aligned with the W3C recommendations for multimodal interaction architectures, which enables the development of emotionally-aware applications keeping the developed interactive systems (and the developers) completely agnostic to the affective computing methods considered. To support the work carried out, and to illustrate the potential of the proposed affective modality in providing emotional context for interactive scenarios, two demonstrator applications were instantiated. The first enables multimodal interaction with Spotify, considering the user's emotional context to adapt how music is played. The second, Mood Diary, serves as a proof-of-concept to how an emotionally-aware application can support users in understanding and expressing emotion, a potentially relevant feature for those suffering from conditions such as autism spectrum disorders

Em sistemas interativos, ter conhecimento do estado emocional do utilizador não é apenas importante para perceber e melhorar a experiência global do utilizador, mas também e de extrema relevância em cenários onde tal informação pode impulsionar a nossa capacidade para ajudar os utilizadores a gerir e a expressar as suas emoções (por exemplo, ansiedade), com um grande impacto nas suas atividades do dia-a-dia e como estes utilizadores interagem com outros. Embora exista um elevado potencial em aplicações que tenham em consideração as emoções, inúmeros desafios impedem a sua disponibilidade mais ampla, por vezes, resultante da baixa natureza translacional da pesquisa feita na área de computação afetiva, outras pela falta de métodos que permitam uma fácil integração de emoções nas aplicações. Embora já múltiplas ferramentas tenham sido propostas para a extração de emoção a partir de um conjunto de dados, como texto, áudio e vídeo, a sua integração ainda requer um esforço de desenvolvimento considerável que necessita de ser repetido para cada aplicação implementada. Tendo em conta estes desafios, apresentamos uma visão conceptual para a consideração de emoções no âmbito de sistemas de interação multimodais, propondo uma abordagem desacoplada que também pode fomentar uma articulação com a pesquisa na área da computação afetiva. Com esta visão em mente, desenvolvemos uma modalidade afetiva genérica, alinhada com as recomendações do W3C para arquiteturas de interação multimodal, que possibilita o desenvolvimento de aplicações que têm em consideração as emoções, mantendo os sistemas interativos desenvolvidos (e os programadores) completamente dissociados dos métodos computacionais afetivos considerados. De forma a complementar o trabalho realizado, e de modo a ilustrar o potencial da modalidade afetiva proposta na apresentação de contexto emocional em cenários interativos, foram instanciadas duas aplicações demonstrativas. A primeira, permite uma interação multimodal com o Spotify, considerando o contexto emocional do utilizador para adaptar a música que é reproduzida. O segundo, Mood Diary, serve como uma prova de conceito de como uma aplicação que considera as emoções pode ajudar os utilizadores na compreensão e expressão de emoções, uma característica potencialmente relevante para aqueles que têm necessidades especiais, como é o caso, das perturbações do espectro do autismo