Processamento, integração e visualização de imagens multimodais

Abstract

As modalidades imagiológicas tomográficas existentes actualmente são um instrumento, por vezes, imprescindível para se elaborar e/ou consolidar determinado diagnóstico, conduzir uma terapia ou efectuar um estudo pré e/ou pós-operatório. Embora existam desde a introdução destas modalidades programas que fazem a análise e visualização dos dados gerados, só muito recentemente, com a banalização de computadores com grande poder de cálculo, é que se tem vindo a explorar a vertente de representação tri-dimensional (3D) das estruturas clínicas sob análise.

Começa-se por fazer um levantamento das estratégias existentes para visualização 3D de dados volúmicos discretos, semelhantes aos que são fornecidos pelas modalidades imagiológicas. Avaliam-se os operadores e metodologias necessárias para construir uma solução de visualização 3D adequada à realidade clínica. As soluções existentes para visualização 3D são classificadas em dois grupos. Os métodos que detectam e trabalham unicamente com a superfície do objecto sob estudo constituem um dos grupos, os métodos ditos de geração de superfície. O outro grupo é composto pelos métodos que manipulam, detectam e representam as estruturas existentes no volume, sempre a partir do volume original, os métodos ditos de representação de volume. Estudadas e avaliadas as várias estratégias, apresenta-se uma solução híbrida que, permite por um lado explorar a interactividade com uma representação de superfície e por outro, elevada precisão com uma representação de volume, no segundo caso utilizando uma técnica do tipo raycaster. O programa que se implementou e descrito nesta tese, traduz a nossa perspectiva de um visualizador 2D /3D de dados imagiológicos. O tempo de processamento demasiado longo de algumas tarefas envolvendo os dados imagiológicos levou-nos a procurar uma solução com arquitecturas e topologias para processamento paralelo. A topologia em farm apresenta-se como a mais apropriada para os dados e tarefas em causa, tendo sido efectuados testes de eficiência utilizando uma rede de transputers.

Conscientes de que, começa a ser prática corrente o recurso a exames multimodais para elaborar ou confirmar um diagnóstico, prosseguimos o trabalho tendo como objectivo a resolução dos problemas que surgem pelo facto de se possuir vários volumes discretos de modalidades diferentes. Apresentam-se soluções para o registo, fusão e visualização 2D / 3D de informação multimodal de uma forma integrada. Efectuamos o estudo de três casos contendo dois volumes, um de TAC e outro de SPECT, para demonstrar a importância da visualização 3D multimodal integrada, ainda que aliada a uma representação clássica, em 2D, dos cortes tomográficos.

A tese encontra-se dividida em 5 capítulos e 3 apêndices. Começa com a introdução onde é apresentado o tema e a problemática envolvente. No capítulo 2, multimodalidade, após a descrição das modalidades que utilizamos, é feito um levantamento das metodologias e operadores necessários à visualização 3D num contexto multimodal, sendo também abordados temas relacionados com arquitecturas paralelas e atributos de um interface. No capítulo seguinte é feita a avaliação e discussão de: (i) alguns operadores que pensamos serem relevantes para a precisão com que é gerada a imagem final, assim como de (ii) topologias de processamento. O capítulo 4 documenta: (i) a estratégia de visualização 3D que dá suporte ao programa que implementamos (ii) o programa propriamente dito e (iii) o estudo de um caso multimodal utilizando SPECT e TAC. Por fim, o capítulo 5, contém as conclusões e perspectivas futuras. Nos três apêndices descrevem-se respectivamente: a formulação necessária para descrever o processo de reconstrução tomográfica por retroprojecção e um programa de visualização em tomografia de emissão simples, as matrizes de convolução para a detecção da normal utilizando os momentos geométricos e a lista de símbolos utilizados nesta tese.

The tomographic modalities that exist nowadays are important tools, used to elaborate and/or consolidate a certain diagnosis, conduct a therapy, or to perform a surgical study. The tomographic modalities have specific programs to reconstruct, visualize and analyze the data produced in a circular multiple view basis. Only recently, with the advent and popularity of powerful workstations have the 3D reconstruction schemes of the anatomical structures under study been exploited.

We start by presenting an overview of 3D visualization strategies of volumetric data, similar to data coming from clinical modalities. The evaluation of operators and methodologies is accomplished with the aim of producing a 3D visualization solution adequate for the clinical reality. The 3D visualization solutions can be classified in two groups. The methods that detect and work only with a surface description of the structure is one of the groups, the other always represents the structures with the whole data volume as a starting point, the so called volume representation methods. After studying and evaluating the various strategies a hybrid solution is presented that exploits interactiveness with a surface representation method, and high precision with a volume representation method, specifically a raycaster. The program that was implemented and described in this thesis reveals our perspective of a 2D /3D visualizer for clinical data. Due to the amount of time required to run some of the processes, a solution with a parallel processing scheme was implemented and tested. The farm topology seems to be the most appropriate for the data and processing techniques involved, related efficiency tests were carried out on a transputer network.

Aware that multimodality is starting to be a major issue, the studies were continued on the basis of a multivolume approach, with data volumes of the same patient but acquired with different clinical modalities. Solutions for registration, fusion and 2D /3D visualization of multimodal data is presented in an integrated manner. Three SPECT case studies are used to show the relevance of a multimodal 3D integrated visualization scheme in addition to the classical 2D slice by slice navigation methods.

This thesis is organized in 5 chapters and 3 appendices. Chapter 1 starts by introducing the theme and the related problems. In chapter 2, after describing the modalities that are used, a general overview of 3D visualization methodologies related to the multimodality problem is presented, themes concerning parallel architectures and interface attributes are also covered. The next chapter evaluates and discusses: (i) operators which we think are important for the precision with which the final image is generated, as well as (ii) processing topologies. Chapter 4 describes: (i) the 3D visualization strategy that is the basis of our visualization program, (ii) the visualization program, and (iii) a case study using SPECT and CT volumes. Last but not least, chapter 5, where conclusions are drawn and future work is presented. The 3 appendices contain: the necessary formulation to understand and implement the tomographic reconstruction process and a reconstruction/visualization program for SPECT volumes, convolution matrices for normal calculation using geometric moments and the list of symbols used in this thesis.