一种多模态医学图像数据融合方法与应用

高峰1，李梅，仇振钊

1.中山大学附属口腔医院 信息科，广东广州 510060；2.广州纳斯威尔信息技术有限公司，广东 广州 510663

一种多模态医学图像数据融合方法与应用

高峰1，李梅2，仇振钊2

1.中山大学附属口腔医院 信息科，广东广州 510060；2.广州纳斯威尔信息技术有限公司，广东 广州 510663

本文提出一种基于人工智能的图像融合算法，通过软件来替代硬件设备实现医学图像融合配准功能。该算法可以对不同的扫描图像进行空间坐标对齐，以解决多模态融合配准问题，并且有效地提高配准速度。这种算法可应用在脑肿瘤MR-PET图像的融合诊断中。

医学图像；图像融合；MR-PET；CT

人类脑部成像方式主要有计算机断层扫描（CT），正电子发射成像（PET）和核磁共振成像（MRI）[1]。PET被广泛地用于肿瘤诊断，但是，由于PET的分辨率有限，通常还需要加入CT或者MRI的扫描来完善对病灶的定位以及指导治疗，因而需要图像融合用于诊断。与传统的可视化技术相比，双模态3D绘制可以同时用两种不同的颜色来显示两种模态图，更形象地表现出人体的器官组织，诊断效果更为出色。因此，双模态融合图的配准问题尤为重要。本文提出一种基于人工智能图像融合算法，通过软件来替代硬件设备实现融合配准功能。该算法可以对不同的扫描进行空间坐标对齐，以解决多模态融合配准问题，并且有效地提高配准速度。这种算法主要应用在MR-PET的脑肿瘤融合诊断中。

1 多种模态图像及图像融合

人体扫描成像方式有CT、PET、MRI，见图1。

图1 多种模态图像(a) CT， (b) PET， (c) MRI

PET与CT或MRI融合诊断，图像融合后同时具有两者的功能，不仅是二者功能的简单叠加，由于PET与CT优势互补，可以达到1+1＞2的效果。PET可以显示病例病灶特征，更容易发现病灶，CT可以精确定位病灶，显示病灶结构变化，二者融合可以提高诊断的准确性。对此，供应商也开发出了PET-CT同源机。从PET-CT同源机中获得的图像和使用我们的软件后所生成的PET-CT融合图像，见图2。

与其他医学成像技术，如CT或者X射线相比，MRI是多参数、多序列图像，具有良好的软组织解剖分辨率，能很容易地区分出大脑、肌肉、心脏及肿瘤等软组织，同时也能进行功能成像。但是，磁共振（MR）在定量观察分子示踪方面有限制，敏感性不强。以判断口腔鳞癌为例，回顾分析2001年～2010年医院患者术前术后PET或PETCT、CT或MRI检查，PET或PET-CT在敏感性、特异性及准确率中分别比CT或MRI高12.34%、2.42%、19.23%。因此对PET-MR融合设备的研制提出了需求，并且有非常广阔的应用前景。尽管MR-PET同源机已经设计出来，并且已经在等待美国食品药品管理局（FDA）的认证，但对于许多医院来讲，市场价格偏高，并不是所有的医院都能投入使用，因此软件融合成为一个趋势。从PET-CT同源机、MR机获得的图像，以及使用我们软件解决方案的融合图像，见图3。显而易见的是，图3中的MR图比图2中的CT图具有更好的细节度。

图2 多种模态图像 (a) CT， (b) PET-CT， (c) PET (a和c是标准的PETCT同源机获得的图像，b是使用我们的软件融合得到的图像)。

图3 多种模态图像 (a) MR，(b) PET-MR，(c) PET (a是西门子MR机获得的图像，c是CPS的PET-CT同源机获得的图像，b是使用我们的软件自动融合后得到的图像)。

在医疗领域中，可视化诊断越来越热门。3D渲染能大大提高对各种疾病的诊断效果，医生不必只凭经验由多幅二维图像去估计病灶的形状及大小，“构思”病灶与周围组织的几何关系，通过3D渲染可以将人体器官以三维的形式“真实”地显示出来，从而获得传统手段无法得到的结构信息。可视化技术已应用于多种诊断医学、辐射治疗规划等技术中，是科学计算机可视化中的一个重要领域，也是医学图像处理的难点和热点。与传统的可视化技术[2]相比，双模态绘制可以同时用两种不同的颜色来显示两种模态图像，更形象地表现出人体的器官组织。PET-CT双模态融合图像的3D渲染图，见图4； PET-MR双模态融合图像3D渲染图，见图5。

图4 PET-CT图像渲染（左：三视图，右：我们的软件利用虚拟平面切割技术进行体积光线投射）

图5 PET-MR图像渲染（左：三视图，右：我们的软件利用虚拟平面切割技术进行体积光线投射）

智能算法可以优化并解决PET-MR的融合问题，利用软件可使不同的扫描图像自动融合为同一空间坐标下的图像。所以，软件需要具有以下功能以满足临床要求：① 自动从两个系列的切片图中重建数据；② 自动和手动配准；③ 在可视化基础上进行图像融合；④ 具有临床使用的各种图像处理工具。

2 关键问题与解决方案

图像融合算法的第一步是配准[3]。配准后，对所涉及到的需要显示的数据进行融合[4]。然而，不同的成像设备所拍摄到的图像的分辨率、大小、层数、空间位置可能会有所不同，特别是这些三维图像是由一系列的2D图像组成的。因此，需要解决的关键问题是自动化多模态图像配准。

通过将图像标记为模板图和浮动图，线性配准问题可以被描述为寻找一个仿射变换矩阵，从而最大限度地找到浮动图和模板图之间相似的地方[5]。三维配准的过程，见图6。

图6 图像三维配准过程

这类问题通常可分为两个子问题。

（1）定义一个成本函数来测量两个图像之间的相似性，定义为f（X，AY）, 其中 f（X，AY）是成本函数，X是模板图，Y是浮动图，A是三维仿射变换矩阵。

（2）找到一个最优方法，以得到在给定区域中成本函数的最大点。

在数学中，刚性或者仿射三维变换A可以用一个4×4的常数矩阵表示，其中y=（y1，y2，y3）T、x=（x1，x2，x3）T分别从模板图和浮动图中获取得到。

变换矩阵可进一步分为平移、旋转、缩放和倾斜，表示为式(2)。

其中：

因为一个仿射变换可以用12个系数p=（t a s g）T表示，优化后表示为

显然，传统的欧几里德距离不能恰当地描述两种模式之间的相似性。基于信息理论， f（X，AY）通常从一些统计测度，如交互信息和其他散度中得到。因此，函数空间变成复杂的目标函数，导致这个问题变得非线性[6-8]。

对于一个给定的域，像这种优化计算没有分解方法。可行的办法就是枚举可能的解决方案，直到到达峰值。要解决这类问题，通常会产生启发式算法，即遗传算法（GA），粒子群优化（PSO）[9]和蚁群算法(ACO)[10]。因此，它可作为工程优化领域人工智能的直接应用。

我们以PSO为例子，与利用生物学进化的竞争特点（适者生存）的GA相反，PSO利用的是像鱼群、鸟群以及昆虫群聚等合作和社会环境影响的特点。从现在被称为蜂群的种群扩散开始，个人作为粒子，往往移动搜索空间，最终确定其中最低的地区聚集。Ackeley功能（2D）的粒子组成的搜索过程，见图7，箭头表示粒子的速度。

图7 粒子组成的搜索过程

如果要应用到我们研究的问题上，基本的PSO算法必须增强以提高效率，突变和交叉的遗传算法要加入到PSO中。在这种混合的PSO中，当粒子的位置更新之后，每对粒子有概率被选择交叉。对于每一对粒子交叉之后产生的新粒子会取代父母，以保持粒子群总数规模不变。此外，突变之后粒子速度会更新。要指出的是，为了提高交叉的效率，聚类的方法如K-means算法，会涉及到粒子分组。

3 图像标配实验结果

选取一些临床数据进行测试。选取5组PET-CT或PET-MR图像，然后使用我们的软件进行配准，记录每一个病档配准所需时间。配准信息，见表1，其中，配准效果中，左图为融合图原图，即配准前；右图为使用我们的软件进行配准后的效果。可以看出，由于机器不同、扫描时间不同、切片精度、大小不同等原因，在原始的融合图中，两种模态图并不能完全重合。用我们的软件进行配准后，图像的重合度明显提高，两种模态图基本重合，配准效果显著。另外，从第三列运行时间可以看出，配准的时间范围是35～45 s左右，执行速度较快，配准等待时间短。

4 结束语

本文以PET-CT、PET-MR图像融合为背景，使用新的配准方法，可以提高配准的效果及效率。从实验的结果可以看出，与现有的配准算法相比，这种新的配准算法执行速度更快，配准效果更好，更加有利于提高诊断效率，减少时间成本，提高诊断正确率，具有更高的临床应用价值。

表1 5组临床病例信息与配准结果

在未来的工作中，我们会加入图形处理器对配准进行再加速，在不降低配准准确度的情况下，进一步降低配准时间，以达到配准时间在30s以内的效果，提高诊断效率。

[1] Digital imaging and communications in medicine (DICOM) part 1:introduction and overview[EB/OL](2006-12-11)[2011-11-01]．http://medical．nema．org/Dicom/2011/11_01pu．pdf．

[2] 伍炼,朱玉云,史小平,等．基于MITK的医学影像三维可视化研究[J]．北京生物医学工程, 2008,(5):531-533．

[3] 杨安荣,林财兴,李红强．用于医学影像配准的快速框架[J]．计算机应用,2010,(3):632-634．

[4] Caner G,Tekalp AM,Sharma G,et al．Local image registration:an adaptive filtering framework[J]．SPIE,2005,(5674):159-169．

[5] 吕煊．基于角点特征和最大互信息的多模医学图像配准[D]．济南:山东师范大学, 2008．

[6] 齐晶晶,黄彩霞．基于多小波变换域特征的多模态医学图像融合[J]．电脑知识与技术,2007,(18):1709-1711．

[7] 郝利国,刘志鹏．医学影像图像融合技术研究[J]．齐齐哈尔医学院学报, 2010,(1):74-76．

[8] 胡永祥．基于互信息的多模态医学图像非刚性配准研究[D]．长沙:中南大学, 2012．

[9] 于泽．脑CT图像配准中自适应粒子群算法的应用研究[D]．大连:大连海事大学, 2010．

[10] 康晓东,何丕廉,刘玉洁,等．基于蚁群算法的医学图像分割研究[J]．计算机应用研究, 2008,(9):2853-2855．

[11]秦维昌．双源双能量CT成像的技术进展[J]．中国医疗设备, 2012,27(3):61-62．

Algorithm and Application of Multimodality Medical Image Fusion

GAO Feng1, LI Mei2, QIU Zhen-zhao2
1. Department of Information, Stomatology Hospital, Sun Yat-sen University, Guangzhou Guangdong 510060, China; 2. Guangzhou NasSoft Information Technology Ltd., Guangzhou Guangdong 510663, China

This paper proposes an algorithm based on artifcial intelligence by replacing hardware with software to solve the multimodality fusion. This algorithm aligns different scans into common spatial coordinates to solve multimodality fusion and improve registration speed, and has been used in MR-PET diagnosis fusion of mouth cancers.

medical imaging; imaging fusion; MR-PET; CT

TP391.41

A

10.3969/j.issn.1674-1633.2013.05.062

1674-1633(2013)05-0164-04

2012-10-31

2013-03-22

作者邮箱：zdkqyygf@163．com