基于IRTK和VTK的医学图像配准与可视化系统*

林绍辉，杜 民，高钦泉，高跃明

(1. 福州大学 物理与信息工程学院，福建 福州 350116；2. 福州大学 福建省医疗器械和医药技术重点实验室，福建 福州 350116)

基于IRTK和VTK的医学图像配准与可视化系统*

林绍辉1,2，杜 民2，高钦泉1,2，高跃明1,2

(1. 福州大学 物理与信息工程学院，福建 福州 350116；2. 福州大学 福建省医疗器械和医药技术重点实验室，福建 福州 350116)

图像配准技术在医学图像处理与分析中扮演着重要的角色，为了促进其在实际临床中的应用，设计并实现了一款多模态医学图像配准系统。该系统集成了多种先进的配准算法，包括线性和非线性配准，并提供友好的图形界面和可视化功能。此外,系统还提供去噪声预处理并支持混合配准策略，用于提高图像配准的质量和效率，配准的中间过程实时动态显示。实验结果表明，该系统能够便捷、高效地完成复杂的医学图像配准。

医学图像；自动配准系统；交互可视化；实时显示

0 引言

随着电子成像技术的快速发展，多模态的医学图像正改变着传统医疗的诊断和治疗方式[1-2]，特别在放射治疗领域[3]。对不同模态中特定的解剖学信息进行综合[4]，能够为疾病的早期诊断和治疗提供更加丰富、准确的信息[5]。然而，由于各个模态图像的成像原理不同，图像在分辨率、体素间隔以及图像的大小等方面存在很大的差异。即使是单模态成像也会因病人在成像时的摆位，以及软组织的非线性形变的不同，使得临床医生无法直接对其进行信息提取、综合和分析。因此，在对多模态图像信息的综合，需要解决图像之间的匹配问题，即图像配准。

所谓图像配准[6]就是寻求一种最优的变换关系，使得两幅或者多幅医学图像上的对应点达到解剖位置与空间位置上的一致。多年以来，国内外已有大量的研究致力于配准算法的发展[7-8]，但在配准软件和平台[9]的研发上却少之又少。由于技术和资金限制，目前大多数医院配备的系统软件只包含刚性配准技术，无法满足软组织非刚性形变的配准需求。缺乏合适的软件系统是阻碍先进配准技术在临床应用中的绊脚石。在数字医疗时代下，无论哪种模态的医学影像，要在临床的诊断、治疗中发挥更好的作用都离不开相应软件系统的支持[10]。

为了促进图像配准技术在实际临床中的应用，本文在Qt(Qt creator)提供图形用户界面的框架下，采用IRTK(Image Registration Toolkit)实现线性和非线性自动配准，并结合VTK(Visualization Toolkit)完成三维重建，最终设计并实现了一款多模态医学图像配准与可视化系统。

1 系统设计

1.1 基于IRTK的自动配准

IRTK是一款专门处理医学图像配准的算法平台，由英国帝国理工学院编程实现，封装了许多常用的图像配准算法，为配准软件的开发提供了有利工具。

图像配准按变换模型可分为刚性、仿射变换，其中刚性最为简单，只包含旋转和平移，仿射变换则在此基础上增加了错切和缩放两个变换。然而，对于人体软组织的非刚性形变形式，上述两种线性方法却显得无能为力，这也是目前大多数医院面临的难题。因此，本系统引入目前最为优秀和主流的基于B-样条的自由形变模型非线性配准算法。该方法由RUECKERT D等人提出[11]，其形变模型由全局和局部变换两部分组成：

T(x,y,z)=Tglobal(x,y,z)+Tlocal(x,y,z)

(1)

其中，全局变换由刚性变换或仿射变换完成；局部变换为基于B-样条的自由形变模型，对该方法的详细介绍见参考文献[11]。

除了形变模型，图像配准中还包括相似测度、插值以及优化方法。其中相似性度量描述了配准后图像的相似度，插值器主要应用于移动的图像中的非网格点数据值的计算，优化方法则根据约束条件找到使得两幅图像相似测度达到最大的变换矩阵。本系统提供的相似测度包括互信息、归一化互信息、相关比等。优化方法包括梯度下降法、牛顿下山法，联合下降法等。插值器包括线性插值、B-样条插值、牛顿插值等，通过设置不同的参数实现特定任务的配准。

系统的非线性配准算法由IRTK算法平台中的irtkImageFreeFormRegistration类实现。使用该类进行配准的具体步骤如下：

初始化：

(1)导入参考图像和待配准图像。

(2)设置控制点间隔、优化器、相似测度、插值器、金字塔层数及其他参数。

运行：irktImageFreeFormRegistration

(3)重复优化, 直到找到使得相似测度达到最大的形变矢量场。

输出：配准结果及形变矢量场

结束。

此外，本文在系统中实现了多种方法联合配准的策略，通过将初级配准的形变矢量场作为更高级配准方法的输入，以获得更好的初始化，最终生成配准结果。该策略用于应对复杂的配准任务时，可避免直接采用非线性配准无法实现准确配准的难题。

1.2 基于VTK的图像显示及三维重建

VTK是一款进行数据可视化的开发工具包，其面向通用可视化领域，具有良好的可移植性，提供用于三维计算机图形学和可视化的类库，尤其在三维重建具有强大的功能。

本系统的医学图像三准视图使用VTK的vtkSliceImageViewer与QVTKWidget完成显示，并结合Qt的信号与槽机制实现人机交互。同时，本文采用多线程编程技术实现图像配准和可视化过程的并行处理，提供配准过程实时动态显示，方便监测配准过程以及参数调整。

在三维重建方面，使用VTK的Marching Cubes面绘制提供三维医学图像的空间位置信息。面绘制利用分割技术对一系列的三维图像进行特征提取，利用提取的特征还原出被检测物体的三维模型，并以表面的方式显示，其基本步骤如下：读取器→提取等值面→数据处理→映射器→实例化角色→绘制器→绘制窗口→交互器→交换方式。

1.3 去噪声预处理

医学图像在获取和传输过程中容易受到噪声的影响，不仅会降低图像质量，同时也会影响配准的精度。因此，在配准之前需要进行去噪声预处理。本系统提供中值滤波法实现图像去噪声功能。中值滤波是一种非线性平滑技术，在去除噪声的同时能够较好地保留图像的边缘信息。图1给出T2MRI脑图像去噪声的前后对比。

图1 T2脑图像去噪声前后对比

1.4 基于Qt的人机交互界面

Qt是一个开源、跨平台的图形用户界面应用框架，其以QWidget为基础，包含按钮、标签以及工具栏等多种类型的图形用户界面(Graphic User Interface，GUI)组件，广泛应用于系统的GIU开发。此外，Qt提供了丰富的信号与槽(signals/slots)机制实现各个对象之间的通信，为人机交互奠定良好的基础。

基于上述系统目标，并结合实际临床应用的场景，本文利用Qt进行系统的界面开发。系统的主界面如图2所示。

图2 系统的主界面

2 应用与结果

本文结合15例实际临床数据对本系统进行测试，其中包括4例二维(T1,T2) MRI脑图像和11例三维宫颈癌内外照射放疗CT图像，这些临床数据由福建省肿瘤医院提供。限于本文的篇幅，在此分别给出其中的一套数据进行说明。

2.1 二维(T1,T2)MRI脑图像配准

二维(T1,T2)MRI脑图像的分辨率均为256×256，像素均为1 mm×1 mm。将T1、T2脑图像分别作为参考和浮动图像导入系统，使用系统提供的去噪功能对待配准的图像作预处理。本文分别使用刚性、仿射和非线性三种变换模型进行测试。参数设置：金字塔层数为3，归一化互信息为相似测度，梯度下降法为优化法以及线性插值器。在非线性配准中，设置控制点网格分辨率为20。当然，用户可以根据具体任务进行参数设置。配准结果如图3所示。

图3 二维脑图像的配准结果其差值显示

表1根据图像的相关比(Correlation Coefficient，CC)总结了噪声对二维(T1,T2)MRI脑图像配准结果的影响。

表1 噪声对图像配准结果的影响

2.2 宫颈癌内外照射三维CT图像的配准

外照射CT图像分辨率为512×512×40，像素为0.976 6 mm×0.976 6 mm×5 mm；内照射CT图像分辨率为512×512×40,像素为0.976 6 mm×0.976 6 mm×2.5 mm。将外照射CT作为参考图像，内照射CT为浮动图像进行配准，参数设置同上述二维图像配准。由于腿部存在局部大形变，因此采用仿射与非线性联合配准的配准策略完成配准。图4给出了非线性配准的结果。

图4 宫颈内外照射三维CT图像非线性配准结果

3 讨论

笔者发现，虽然二维(T1,T2)MRI脑图像属于同一病人，但由于成像原理不同导致图像存在很大差异。经过刚性和仿射配准后在一定程度上减少了它们之间的差异，但其效果远不及非线性配准，这主要是因为线性变换只包含简单的旋转和平移变换，无法应对软组织的非刚性形变问题。另一方面，从配准后两幅图像的相关比可知，图像中的噪声不仅降低了图像的质量，而且极大地降低了图像配准的精度。从图4可以看出采用多种方法联合配准的策略能够准确完成宫颈癌内外照射放疗三维CT图像的配准。

4 结束语

本文基于IRTK和VTK并结合Qt实现了多模态医学图像配准与可视化系统，提供包含线性和非线性配准方法。结果证实了系统的去噪声预处理和混合配准策略提高了图像配准的精度和灵活性，通过友好的图形界面和可视化功能简化了复杂的配准过程。下一步的工作将研究非线性配准方法在肿瘤放疗剂量评估的应用，并在系统中实现，为个性化放疗提供有力的系统支撑。

[1] 佟正灏, 王荣福. 多模态影像技术在临床中的应用进展[J]. CT 理论与应用研究， 2014，23(4):707-714.

[2] 李伟, 朱学峰. 医学图像融合技术及其应用[J]. 中国医学影像技术, 2005，21(7):1126-1129.

[3] CHEN S, SCHILDKRAUT J S. Image fusion for radiation therapy:US 7848592[P/OL]. (2010-12-7) [2016-8-6].http://patft.uspto.gov/netacgi/nph-Parser?Sect2=PTO1&Sect2=HITOFF&p=1&u=/netahtml/PTO/search-bool.html&r=1&f=G&l=50&d=PALL&RefSrch=yes&Query=PN/7848592.

[4] WANG L, LI B, TIAN L F. Multi-modal medical image fusion using the inter-scale and intra-scale dependencies between image shift-invariant shearlet coefficients[J]. Information Fusion, 2014,19(1):20-28.

[5] SINGH R, KHARE A. Fusion of multimodal medical images using daubechies complex wavelet transform-a multiresolution approach [J]. Information Fusion, 2014,19(3):49-60.

[6] RUECKERT D, SCHNABEL J A. Medical image registration[J]. Physics in Medicine & Biology,2011,46(3): 1-45.

[7] OLIVEIRA F P, TAVARES J M R. Medical image registration: a review[J]. Computer Methods in Biomechanics and Biomedical Engineering, 2014,17(2):73-93.

[8] 申艳平. 医学图像配准技术[J]. 中国医学物理学杂志, 2013,30(1):3885-3889.

[9] 黄善清, 龙鹏程. 基于ITK与VTK的配准融合方法的研究与应用[J]. 计算机应用, 2010,30(s1):140-142.

[10] El-GAMAL E Z A, ELMOGY M, ATWAN A. Current trends in medical image registration and fusion[J]. Egyptian Informatics Journal, 2015,17(1):99-124.

[11] RUECKERT D, SONODA L I, HAYES C, et al. Nonrigid registration using free-form deformations: application to breast MR images[J]. IEEE Transactions on Medical Imaging, 1999,18(8):712-721.

Medical image registration and visualization system based on IRTK and VTK

Lin Shaohui1,2,Du Min2, Gao Qinquan1,2, Gao Yueming1,2

(1. School of Physics and Information Engineering, Fuzhou University, Fuzhou 350116 , China；2. Key Lab of Medical Instrumentation & Pharmaceutical Technology of Fujian Province, Fuzhou University,Fuzhou 350116, China)

Image registration plays an important role in medical image processing and analysis. A multi-modal medical image registration system was designed to facilitate the clinical application of medical image registration. Several state-of-the-art registration algorithms are integrated into the proposed system, including linear and nonlinear registration. The system provides a friendly graphic interface and visualization function. Furthermore, images preprocess and hybrid registration strategy are also supported for improving the quality and efficiency of registration, the intermediate process can real-time display in this system. The experimental results show that the proposed system can achieve accurate medical image registration in terms of both effectiveness and efficiency.

medical image; automatic registration system; interactive visualization; real-time display

福州大学人才引进启动基金(0110510154)；福建省自然科学基金(2016J05157)

TP317.4

A

10.19358/j.issn.1674- 7720.2017.01.004

林绍辉，杜民，高钦泉，等. 基于IRTK与VTK的医学图像配准与可视化系统[J].微型机与应用，2017,36(1)：11-14.

2016-08-06)

林绍辉(1990-)，男，硕士研究生，主要研究方向：医学图像处理。

杜民(1955-)，女，博士，教授，主要研究方向：医学信息系统，生物医疗仪器。

高钦泉(1986-)，通信作者，男，博士，副教授，主要研究方向：医学图像处理。E-mail:qinquan@fzu.edu.cn。