Enhancing search and retrieval capabilities in a lifelogging application using natural languange processing

Abstract

Lifelogging refers to the documentation of everyday life through the utilization of smart technologies, allowing the capture of moments from activities, experiences, and behaviors in various formats. However, for this data to be used in this type of application, it must be annotated and organized so that it can be interpreted by the system in the same way as a human being, moreover, the interaction with the user should be as natural as possible. A research team from IEETA/DETI/UA is currently executing a project called “MEMORIA: A Memory Enhancement and MOment RetrIeval Application” that already has some results presented internationally. Tackling this problem can be achieved through the utilization of several algorithms and strategies of natural language processing, enabling the system to comprehend the collected data and the user’s retrieval intentions, in order to represent the desired moments from their lives. The proposed solution analyses a sentence and tries to understand what is being asked for, this is done by sentence division and word expansion resulting in a group of images related to the sentence given by the user. The division is made by contexts. First, the system identifies, with the usage of natural language processing, the main context of the sentence, then continues throughout the sentence identifying the after or before context, time context and date context. Each context is transformed into groups of tokens that are expanded, using word2vec model for word expansion. These tokens are grouped in two different ways, simple tokens and word chunks. Simple tokens are only one word and word chunks are a group of words into a single token, this is done to improve the search of more specific objects as well as bringing a more broader range of results to the search as well. The proposed system brought a broader range of results and an easier to use search method, using free text search. In the participation of the Lifelog Search Challenge 2023 the proposed system had some problems in selecting large amount of images but when asked to get a specific moment it had good results where at the first or second search result the desired moment would be found. In the novice tasks a new user was introduced to the system and explained how it works, leaving the user to complete the tasks without guidance of the expert users, even though the novice users were not able to complete some tasks, they were able to easily understand and connect with the proposed system.

Lifelogging refere-se à documentação do dia à dia de um individuo através da utilização de tecnologias inteligentes, permitindo a captura de atividades, experiências e comportamentos em vários formatos. No entanto, para que estes dados possam ser utilizados neste tipo de aplicações, é necessário anota-los e organiza-los de forma a poderem ser interpretados pelo sistema da mesma maneira que um ser humano. Além disso, a interação do utilizador deve ser o mais natural possível para a melhor experiência. Uma equipa de investigação do IEETA/DETI/UA está atualmente a desenvolver um projeto chamado “MEMORIA: A Memory Enhancement and MOment RetrIeval Application” com resultados apresentados a nível internacional. Resolver este problema pode ser alcançado através da utilização de vários algoritmos e estratégias de processamento de linguagem natural, permitindo o sistema a compreender os dados obtidos e as intenções da pesquisa do utilizador, de forma que os momentos desejados sejam apresentados corretamente. A solução proposta analisa frases e tenta compreender o que está a ser pedido, isto é feito através de divisão da frase e expansão de palavras, resultando num grupo de imagens relacionadas com a frase fornecida pelo utilizador. A divisão é feita por contextos, onde primeiro é identificado, a partir do uso de processamento de linguagem natural, o contexto principal e depois os restantes contextos, o after, o before, o temporal e o das datas. Cada contexto é transformado em grupos de tokens que vão ser expandidos, usando o modelo word2vec. Estes tokens são agrupados usando dois métodos, tokens simples ou chunks de palavras, e isto é realizado para melhorar a pesquisa para não só aumentar a quantidade de resultados diferentes obtidos mas também obter resultados específicos. O sistema proposto obteve uma maior quantidade de resultados diferentes e um método de pesquisa fácil de usar, implementado com pesquisa de texto livre. Na participação da competição Lifelog Search Challenge 2023 o sistema proposto teve alguns problemas na seleção de grandes quantidades de imagens mas aquanto à pesquisa de um momento específico obteve resultados positivos, onde na primeira ou segunda pesquisa foi possível obter o momento a ser procurado. Utilizadores que nunca usaram o sistema foram introduzidos ao sistema e receberam explicações de como utilizar, depois realizaram tarefas sem ajuda. Os utilizadores mesmo que não tenham conseguido realizar algumas tarefas, eles perceberam e conseguiram utilizar o sistema com facilidade.