NEArBy : Neuroimaging Atlas Based Q/R

Abstract

Brain atlases have been used as reference to classify and tag topological information either structural or functional from brain images. Using atlases, the resulting analysis allows the extraction of semantic information from the existing image data. However the process of classifying and tagging brain images using an atlas is often tedious and mostly dependent on human observation and validation. At the same time, even when available is often difficult to use, namely when using typical query retrieve services in modern imaging repositories (e.g. DICOM based PACS). In this work we propose NEArBy, a solution that provides query and retrieve services based on brain atlas semantics that can be easily integrated in existing DICOM based imaging repositories. Using a web interface, NEArBy supports not only typical DICOM query retrieve searches but also query tokens matching the brain atlas dictionary. To automate the semantic tagging of the brain images we rely on external methods to identify relevant spatial features that are later labelled using standard brain atlas. Being DICOM a tag based standard, atlases related tags are then privately embedded into DICOM files as NEArBy XML descriptors. These descriptors encode the mapping between feature type, spatial location in the atlas and the respective atlas tag. XML encoded tags are also suitable for indexation by a medical imaging Q/R tool such as Dicoogle allowing queries based both on standard DICOM tags and specifically on atlases related tokens included by NEArBy middleware. NEArBy provides a way to perform queries over a medical imaging repository using technical and atlas based topological information. We illustrate the NEArBy potential usage over a set of functional magnetic resonance imaging (fMRI) datasets using the web user interface to formulate the queries with atlas related criteria and access the retrieved results. Several experiments were successfully performed demonstrating the effectiveness in retrieving subjects with activations in similar areas and in specific locations.

Os atlas cerebrais têm vindo a ser utilizados como referência na classificação e identificação de informação topológica, tanto estrutural como funcional, de imagens do cérebro. Com recurso ao atlas, a análise que daí surge permite a extração de informação semântica a partir dos dados existentes na imagem. Contudo, o processo de classificação e catalogação de imagens cerebrais com recurso ao atlas é frequentemente entediante e maioritariamente depende da observação e validação humana. Simultaneamente, mesmo quando disponível, é frequentemente de difícil utilização, nomeadamente quando se faz uso de serviços de consulta e recuperação de informação em repositórios de imagens médicas atuais. (e.g. PACS com base DICOM). Neste trabalho, propomos a NEArBy, a solução que disponibiliza serviços de consulta e recuperação de informação com base na semântica de atlas cerebrais, facilmente integrado em repositórios de imagens médicas DICOM existentes. Recorrendo a uma interface web, a NEArBy suporta, não apenas as típicas buscas de consulta e recuperação, mas também chaves de consulta correspondendo ao dicionário de atlas cerebral. Para automatizar a catalogação semântica das imagens cerebrais, recorremos a métodos externos na identificação de características espaciais relevantes que são posteriormente rotulados usando um atlas cerebral standard. Sendo o DICOM um standard baseado em tags, estas relacionadas com o atlas são, assim, discretamente embebidas em ficheiros DICOM como descritores XML NEArBy. Estes descritores codificam o mapeamento entre o tipo de característica, localização espacial no atlas e a respetiva tag do atlas. As tags codificadas do XLM são também adequadas para a indexação através de uma ferramenta de imagens médicas Q/R, como Dicoogle, permitindo consultas com base, ambos em tags standard de DICOM e em chaves relacionadas com o atlas incluídas no middleware NEArBy. NEArBy permite fazer consultas num repositório de imagens médicas, recorrendo a informação técnica e topológica com base em atlas. Ilustramos a potencial utilização da NEArBy num conjunto de imagens por ressonância magnética funcional (IRMf), utilizando a interface web do utilizador para formular as consultas em critérios relacionados com o atlas e aceder aos resultados daí recuperados. Foram levadas a cabo várias experiências com sucesso, demonstrando a eficácia na recuperação de sujeitos com ativações em áreas similares e em locais específicos.