Digital image annotation algorithms for retrieval and identification of moments

Abstract

Lifelogging has recently gained significant popularity as individuals increasingly capture and document their daily experiences through different devices. This generates a vast digital collection of lifelogs, that hold valuable insights into the lifelogger’s behaviors and patterns. Visual data is one of the most valuable sources of information in lifelogs and automatic image annotation plays a vital role in extracting information from lifelog images, enabling a comprehensive understanding of this data and facilitating effective retrieval processes. This work presents a proposal for the types of annotations that should be extracted from lifelog images in order to enhance the lifelog retrieval process, along with an exploration of different computer vision techniques that can be employed for this purpose. A practical implementation of a lifelog annotation pipeline is presented by incorporating state-of-the-art techniques from diverse computer vision tasks. The implementation showcases the seamless integration of these models, emphasizing significant improvements in the annotation process. Furthermore, this work introduces research efforts focused on reducing redundancy in annotations and determining the classification of their importance. The use of computer vision techniques allows the extraction of rich insights from lifelog images, leading to enhanced efficiency and accuracy when retrieving them. By leveraging these techniques, lifeloggers can gain deeper insights into their experiences, enabling a better understanding of their captured memories.

A prática de lifelogging ganhou recentemente uma popularidade significativa, uma vez que as pessoas cada vez mais captam e documentam as suas experiências diárias através de diferentes dispositivos. Isto gera uma vasta coleção digital de lifelogs, que contêm informações relevantes sobre os comportamentos e padrões do indivíduo que os regista. Os dados visuais são uma das fontes de informação mais valiosas nos lifelogs e a anotação automática de imagens desempenha um papel vital na extração de informação destas imagens, permitindo uma compreensão abrangente destes dados e facilitando processos de pesquisa eficazes. Este trabalho apresenta uma proposta para os tipos de anotações que devem ser extraídas de imagens, com o objetivo de melhorar o processo de recuperação de imagens de lifelogs, juntamente com uma exploração de diferentes técnicas de visão por computador que podem ser utilizadas para este fim. É apresentada uma implementação prática de um pipeline de anotação de imagens de lifelog, incorporando técnicas atuais de diversas tarefas de visão por computador. A implementação mostra a integração destes modelos, realçando melhorias significativas no processo de anotação. Além disso, este trabalho introduz uma investigação centrada na redução da redundância nas anotações e na determinação da classificação da sua importância. A utilização de técnicas de visão por computador permite a extração de informação valiosa das imagens de lifelog, conduzindo a uma maior eficiência e precisão na sua recuperação. Ao utilizar estas técnicas, indivíduos que captam estes registos podem obter informações mais aprofundadas sobre as suas experiências, permitindo uma melhor compreensão das suas memórias captadas.