基于光学定位的超声与CT图像融合——颅颌面软组织导航关键技术研究及初步应用

杨成帅　蒋东升　周辉红　吴锦阳　宋志坚　张诗雷



基于光学定位的超声与CT图像融合
——颅颌面软组织导航关键技术研究及初步应用

杨成帅蒋东升周辉红吴锦阳宋志坚张诗雷

【摘要】目的建立基于光学定位的超声与CT图像融合的技术路线，旨在解决颅颌面软组织外科导航的关键问题。方法①获取超声图像的二维空间位置，通过最邻近差值算法进行三维重建，获取其三维空间位置信息；②将超声及DICOM格式的CT影像数据，运用自主研发的基于dLDP的图像融合算法进行融合；③超声与CT图像融合的临床验证，并评价其融合效果。结果所建立的基于dLDP的图像融合算法实现了颅颌面部超声与CT的融合，平均融合误差1.96 mm。结论基于dLDP图像融合算法的精度和图像显示效果能基本满足临床需求，并且对于自主研究口腔颅颌面软组织术中导航系统具有重要指导意义。

【关键词】超声电子计算机断层扫描颅颌面软组织导航图像融合

作者单位：200011上海市上海交通大学医学院附属第九人民医院口腔颅颌面科（杨成帅，吴锦阳，张诗雷）；200032上海市复旦大学上海医学院数字医学研究中心（蒋东升，宋志坚）；200011上海市上海交通大学医学院附属第九人民医院超声科（周辉红）。

颅颌面外科具有解剖结构的复杂性和治疗目的的特殊性［1-2］。因此，临床上力求以较小的创伤，安全、精确地完成手术操作。由于骨骼组织具有刚体结构不形变的特点，所以现代数字化技术，如虚拟手术、手术导航等，使得颅颌面外科骨性手术精度大大提高。目前，该技术在临床上已得到普遍应用，包括颅颌面骨折手术、颞下颌关节成形术、骨肿瘤切除、轮廓修整等［3-8］。对于颅颌面软组织而言，因其术中易发生形变而造成影像漂移［9-10］，使得术前图像不能够真实和实时地反映术中软组织的形态，术中无法实时测量病灶及软组织形变，易产生较大的导航定位误差，限制了外科导航技术在软组织手术中的应用。

因此，我们针对口腔颅颌面软组织形变而导致术中导航影像漂移的难题，运用自主研发的图像融合算法，建立基于光学定位的超声与CT图像融合的技术路线，并对其进行了临床验证及评价，以期解决颅颌面软组织外科导航的关键问题。

1　材料与方法

1.1实验设备

我们采用迈瑞M7 Series便携式彩色多普勒超声诊断系统（深圳迈瑞生物医疗电子股份有限公司）来采集二维超声图像；使用NDI（Northern Digital Incoporated）Polaris光学定位仪采集二维超声图像的位置与方向信息；CT设备为荷兰PHILIPS公司64层CT扫描仪（图1）。

图1　系统装置组成部分Fig. 1 Components of the system

1.2超声与CT图像融合过程

超声与CT图像融合主要包括以下三大步骤，即数据采集、图像预处理和图像配准融合。

1.2.1数据采集

利用NDI公司Polaris光学定位装置进行超声探头的自由式扫描来采集数据，该过程能得到具有空间位置信息的二维超声序列图像，而定位跟踪的目标就是要把图像的坐标系转换到世界坐标系，记录图像的二维空间位置信息（图2）；CT扫描范围为颅顶至舌骨水平，层厚1.25 mm，刻光盘存为DICOM格式。

1.2.2图像预处理

①读取位置向量：读取每一幅二维图像的位置向量，读取的位置向量包括一组四元数和一组坐标轴的平移量；

图2　定位仪及超声系统组成的坐标系Fig. 2 Coordinate system consisting of positioning device and ultrasonic system

②图像三维空间变换：将第一幅二维图像的位置信息作为图像空间的z=0位置，其他二维图像根据其位置向量计算其位于图像空间中的位置；

③灰度插值：将所有二维图像都放入图像空间中，即将超声、CT各模态影像数据导入图像处理软件MIPAV（Medical Image Processing，Analysis，and Visualization）中，根据各数据的特点分别进行图像预处理（图3）。根据最双线性插值算法将两幅二维图像之间的图像空间进行灰度赋值。

图3　二维超声图像在三维场中的位置关系Fig. 3 The position of two dimensional ultrasound images in three dimensional field

1.2.3基于dLDP的超声与CT配准算法的图像融合

首先，通过衡量中心体素与邻域体素不同方向的局部梯度变化，进行LDP计算。其次，通过LDP特征提取，将图像由原始空间转化至特征空间。最后，通过模式识别完成图像配准，即可获得超声与CT的融合显示，从而实现多模影像信息的融合。

1.3临床验证及评价

为了验证上述方法及系统的可行性，分别选取面部异物（图4）及腮腺肿物患者（图5）进行CT及光学定位的自由式超声扫描。连接整合后的系统在口腔颌面外科、超声科医生医师与工程师的共同现场监控下运行正常，并取得了病灶区域的超声图像。

图4　右面部异物的CT及超声影像Fig. 4 CT and ultrasound images of right facial foreign body

图5　左腮腺肿物的CT及超声影像Fig. 5 CT and ultrasound images of left parotid gland tumor

为检测图像融合后的效果，我们将融合后的超声与CT数据导入图像处理软件MIPAV中，将超声与CT叠加显示。由两名超声科医师和放射科医师选取超声与CT相对应层面上的对应点，并通过软件的标尺工具测量两点之间的距离，以评价图像融合的精度。

2　结果

图6　CT与超声图像的融合显示Fig. 6 Overlying display of CT and ultrasound images

连接组装后的系统运行正常，整个操作过程所需时间（含设备安装、初始设定等操作）小于15 min，基本能满足在医师现场监控下临床应用的要求。运用MIPAV图像处理软件，对图像融合精度进行了测量，平均误差为1.96 mm（图6）。

3　讨论

近几年，实时超声融合被广泛研究并完成商业化。随着影像技术和融合技术的进步，多模态融合已由传统的实时超声与CT、MRI的融合，扩展为3D超声、增强超声与增强CT、增强MRI、功能成像PET等模态的融合，使多种模态的图像在一个屏幕上显示，理论上增加了诊断的精度。

尽管多模态融合定位系统已商业化，但其工作依赖于定位、配准、标定、更新等多个技术及对应设备的精确配合协作，而上述技术设备自身的不完善带来的潜在误差，最终导致系统的误差。从融合图像的种类上，现有的研究大多集中在传统影像的融合上，对一些新的功能性成像与解剖学成像的融合研究较少。从融合图像的数量上，目前的多模态融合，大多只实现了两种模态的图像融合。就研究领域而言，目前主要局限于神经外科和普外科领域［11-15］。

本研究在基于光学定位系统的基础上，进行超声与CT图像融合的算法研究，并进行了临床验证，取得了较好效果。首先，本研究自主研发了适用于颅颌面软组织的超声与CT图像融合算法，并搭建了基于光学定位的超声与CT图像融合系统平台。其次，在采集数据方面，我们采用光学定位装置进行跟踪定位，避免了使用磁定位装置时因周围金属器具的存在而影响定位精度。第三，在图像融合效果评价方面，我们参考文献［16］的临床医师主观评价方法，制作适用于颅颌面软组织的融合图像临床评价表，由超声科医师和放射科医师共同评阅融合图像，并运用图像处理软件，对融合图像精度进行测量，平均误差为1.96 mm，与Hakime等［17］实验得到的最小误差（1.9±1.4 mm）基本相符，说明自主研究的超声与CT图像融合算法精度较好。

虽然上述研究取得了较好的临床效果，但也存在一些问题：①口腔颅颌面部软组织无相对固定和清晰的解剖标志点，尤其是在颅颌面软组织肿物的图像配准时，在超声与CT的相同层面上较难找到对应的标志点，造成配准误差增大；②进行超声数据采集时采用手动自由式扫描方法，导致获取的二维超声数据层厚间隔不一致，三维重建以后的图像质量不清晰；③二维超声图像的三维空间位置重建耗时较长。

综上所述，我们针对口腔颅颌面软组织易形变而导致术中导航影像漂移的难题，通过自主研发的图像融合算法，实现了基于光学定位的颅颌面超声与CT图像融合技术方法的建立及初步临床应用，该技术对口腔颅颌面软组织导航的研究具有重要的指导意义。但目前所存在的问题还需进一步深入研究和完善，在未来临床中应有多中心随机的临床实验，以研究其他因素对系统精度的影响，并验证我们自主研发的超声与CT多模态定位系统的临床可靠性和实用性；进一步尝试融合更多种模态信息，加大在一些新的功能性成像与解剖学成像的融合研究的力度，充分利用每一种影像的优点，实现优势互补，为病变的准确定位提供保障；简化系统流程，方便临床使用。相信随着计算机技术的发展，该技术有较大的临床推广应用价值，为研发具有自主知识产权的颅颌面软组织手术超声导航系统奠定前期基础。

参考文献

［1］Schramm A，Suarez-CunqueiroMM，Barth EL，et al. Computerassisted navigation in craniomaxillofacial tumors［J］. J Craniofac Surg，2008，19（4）：1067-1074.

［2］Juergens P，Beinemann J，Zandbergen M，et al. A computer-assisted diagnostic and treatment concept to increase accuracy and safety in the extracranial correction of cranial v ault asymmetries［J］. J Oral Maxillofac Surg，2012，70（3）：677-684.

［3］Schmelzeisen R，Gellrich NC，Schramm A，et al. Navigationguided resection of temporomandibular joint ankylosis promotes safety in skull base surgery［J］. J Oral Maxillofac Surg，2002，60 （11）：1275-1283.

［4］Yu H，Wang X，Zhang S，et al. Navigation-guided en bloc resection and defect reconstruction of craniomaxillary bony tumours［J］. Int J Oral Maxillofac Surg，2013，42（11）：1409-1413.

［5］Rudman K，Hoekzema C，Rhee J. Computer-assisted innovations in craniofacial surgery［J］. Facial Plast Surg，2011，27（4）：358-365.

［6］Gui H，Yang H，Shen SG，et al. Image-guided surgical navigation for removal of foreign bodies in the deep maxillofacial region［J］. J Oral Maxillofac Surg，2013，71（9）：1563-1571.

［7］Yu H，Shen SG，Wang X，et al. The indication and application of computer-assisted navigation in oral and maxillofacial surgery-Shanghai's experience based on 104 cases［J］. J Craniomaxillofac Surg，2013，41（8）：770-774.

［8］张诗雷，林艳萍，沈国芳，等.高精度光学导航辅助颅颌面骨畸形整复的技术方法建立与应用［J］.中国口腔颌面外科杂志，2010，8 （1）：10-15.

［9］辛鹏飞，沈国芳.口腔颌面外科手术导航分类及其定位配准［J］.口腔颌面外科杂志，2010，20（1）：60-63.

［10］Vetter M，Hassenpflug P，Thorn M，et al. Evaluation of visualization techniques for image-guided navigation in liver surgery［J］. Stud Health Technol Inform，2002，85：536-541.

［11］Howard JH，Tzeng CW，Smith JK，et al. Radiofrequency ablation for unresectable tumors of the liver［J］. Am Surg，2008，74（7）：594-601.

［12］Zagoria RJ，Pettus JA，Rogers M，et al. Long-term outcomes after percutaneous radiofrequency ablation for renal cell carcinoma［J］. Urology，2011，77（6）：1393-1397.

［13］Davol PE，Fulmer BR，Rukstalis DB. Long -term results of cryoablation for renal cancer and complex renal masses［J］. Urology，2006，68（1）：2-6.

［14］Simon CJ，Dupuy DE，Dipetrillo TA，et al. Pulmonary radiofrequency ablation：long-term safety and efficacy in 153 patients ［J］. Radiology，2007，243（1）：268-275.

［15］Vogl TJ，Naguib NN，Gruber-Rouh T，et al. Microwave ablation therapy：clinical utility in treatment of pulmonary metastases［J］. Radiology，2011，261（2）：643-651.

［16］李坤成，李永忠，赵富强，等.CT与MRI图像配准与融合技术在颅脑肿瘤的初步应用［J］.中国医学影像技术，2001，17（9）：823-825.

［17］Hakime A，Baere T D，Deschamps F，et al. Abstract No. 124：Clinical evaluation of spatial accuracy of a fusion imaging technique combining previously-acquired computed tomography and real time ultrasound for imaging of liver tumors［J］. J Vasc Int Radiol，2010，21（2）：S49.

·论著·

Ultrasound and CT Image Fusion Based on Optical Positioning - The Key Technology Research and Preliminary Application of Craniomaxillofacial Soft Tissue Navigation

YANG Chengshuai1，JIANG Dongsheng2，ZHOU Huihong3，

WU Jinyang1，SONG Zhijian2，ZHANG Shilei1. 1 Department of Oral and Cranio-maxillofacial Science，Shanghai Ninth People's Hospital，Shanghai Jiaotong University School of Medicine，Shanghai 200011，China；2 Digital Medical Research Center，Shanghai Medical College，Fudan University，Shanghai 200032，China；3 Department of Ultrasound，Shanghai Ninth People's Hospital，Shanghai Jiaotong University School of Medicine，Shanghai 200011，China. Corresponding author: ZHANG Shilei（E-mail: leinnymd@hotmail.com）.

【Key words】Ultrasound；Computed tomogrphy；Craniomaxillofacial soft tissue；Navigation；Image fusion

【Abstract】ObjectiveTo establish the technological route of ultrasound and CT image fusion based on optical tracking system and to apply in soft tissue navigation of craniomaxillofacial surgery. Methods（1）To acquire twodimensional ultrasound images and three-dimensional reconstruction through the nearest neighboring difference algorithm；（2）Ultrasound and CT image fusion through the dLDP algorithm independently researched；（3）Clinial verification and evaluation of the effect of image fusion. Results The independently researched image fusion algorithm based on dLDP realized the fusion of craniomaxillofacial ultrasound and CT，the average error was about 1.96 mm. ConclusionThe accuracy and display effect based on the dLDP algorithm can meet the clinical requirements. It has important significance in independent research of craniomaxillofacial soft tissue navigation system.

【中图分类号】R782

【文献标识码】A

【文章编号】1673－0364（2016）02－0098－04

基金项目：国家自然科学基金（81371193）；上海市科委重点项目（15441906000）；上海交通大学医工交叉研究基金青年项目（YG2015QN05）。

通讯作者：张诗雷（E-mail：leinnymd@hotmail.com）。

doi：10.3969/j.issn.1673-0364.2016.02.003

收稿日期：（2015年2月2日；修回日期：2015年3月29日）