Utilize este identificador para referenciar este registo:
http://hdl.handle.net/10773/30553
Título: | Recovery and identification of moments in images |
Outros títulos: | Recuperação e identificação de momentos em imagens |
Autor: | Silva, Júlio Miguel Braz da Costa |
Orientador: | Neves, António José Ribeiro |
Palavras-chave: | Computer vision Natural language processing ImageCLEF Lifelogging Moment retrieval |
Data de Defesa: | 11-Nov-2020 |
Resumo: | In our modern society almost anyone is able to capture moments and record
events due to the ease accessibility to smartphones. This leads to the question,
if we record so much of our life how can we easily retrieve specific
moments? The answer to this question would open the door for a big leap
in human life quality. The possibilities are endless, from trivial problems like
finding a photo of a birthday cake to being capable of analyzing the progress
of mental illnesses in patients or even tracking people with infectious diseases.
With so much data being created everyday, the answer to this question becomes
more complex. There is no stream lined approach to solve the problem
of moment localization in a large dataset of images and investigations into
this problem have only started a few years ago. ImageCLEF is one competition
where researchers participate and try to achieve new and better results
in the task of moment retrieval.
This complex problem, along with the interest in participating in the ImageCLEF
Lifelog Moment Retrieval Task posed a good challenge for the
development of this dissertation.
The proposed solution consists in developing a system capable of retriving
images automatically according to specified moments described in a corpus
of text without any sort of user interaction and using only state-of-the-art
image and text processing methods.
The developed retrieval system achieves this objective by extracting and
categorizing relevant information from text while being able to compute a
similarity score with the extracted labels from the image processing stage. In
this way, the system is capable of telling if images are related to the specified
moment in text and therefore able to retrieve the pictures accordingly.
In the ImageCLEF Life Moment Retrieval 2020 subtask the proposed automatic
retrieval system achieved a score of 0.03 in the F1-measure@10
evaluation methodology. Even though this scores are not competitve when
compared to other teams systems scores, the built system presents a good
baseline for future work. Na sociedade moderna, praticamente qualquer pessoa consegue capturar momentos e registar eventos devido à facilidade de acesso a smartphones. Isso leva à questão, se registamos tanto da nossa vida, como podemos facilmente recuperar momentos específicos? A resposta a esta questão abriria a porta para um grande salto na qualidade da vida humana. As possibilidades são infinitas, desde problemas triviais como encontrar a foto de um bolo de aniversário até ser capaz de analisar o progresso de doenças mentais em pacientes ou mesmo rastrear pessoas com doenças infecciosas. Com tantos dados a serem criados todos os dias, a resposta a esta pergunta torna-se mais complexa. Não existe uma abordagem linear para resolver o problema da localização de momentos num grande conjunto de imagens e investigações sobre este problema começaram há apenas poucos anos. O ImageCLEF é uma competição onde investigadores participam e tentam alcançar novos e melhores resultados na tarefa de recuperação de momentos a cada ano. Este problema complexo, em conjunto com o interesse em participar na tarefa ImageCLEF Lifelog Moment Retrieval, apresentam-se como um bom desafio para o desenvolvimento desta dissertação. A solução proposta consiste num sistema capaz de recuperar automaticamente imagens de momentos descritos em formato de texto, sem qualquer tipo de interação de um utilizador, utilizando apenas métodos estado da arte de processamento de imagem e texto. O sistema de recuperação desenvolvido alcança este objetivo através da extração e categorização de informação relevante de texto enquanto calcula um valor de similaridade com os rótulos extraídos durante a fase de processamento de imagem. Dessa forma, o sistema consegue dizer se as imagens estão relacionadas ao momento especificado no texto e, portanto, é capaz de recuperar as imagens de acordo. Na subtarefa ImageCLEF Life Moment Retrieval 2020, o sistema de recuperação automática de imagens proposto alcançou uma pontuação de 0.03 na metodologia de avaliação F1-measure@10. Mesmo que estas pontuações não sejam competitivas quando comparadas às pontuações de outros sistemas de outras equipas, o sistema construído apresenta-se como uma boa base para trabalhos futuros. |
URI: | http://hdl.handle.net/10773/30553 |
Aparece nas coleções: | UA - Dissertações de mestrado DETI - Dissertações de mestrado |
Ficheiros deste registo:
Ficheiro | Descrição | Tamanho | Formato | |
---|---|---|---|---|
Documento_Júlio_Miguel_Braz_da_Costa_Silva.pdf | 25.94 MB | Adobe PDF | Ver/Abrir |
Todos os registos no repositório estão protegidos por leis de copyright, com todos os direitos reservados.