基于双目红外相机定位的自由式三维超声图像重建系统

陈泽钰，葛云，陈颖，黄晓林，李伟峰

南京大学电子科学与工程学院，江苏南京210023

前言

计算机技术在近年来飞速发展，同时医学成像设备在临床诊断中也起到不可或缺的作用，医学影像技术和计算机技术的结合也越来越紧密［1］。超声成像技术以其无辐射、成本低、实时性等优势，在辅助医生进行诊疗工作中扮演着重要的角色。然而传统的超声成像设备大都只能提供人体断面的二维图像［2］，对于临床医生来说，需要依靠以往经验，在大脑中重构出人体器官的三维结构，这对诊断的准确性和客观性提出了不小的挑战。利用三维重建以及可视化技术，将二维超声图像重建为三维结构，不仅能更加直观地显示人体器官情况，还能降低对医生的要求，使得医生能够从单一的诊疗角色逐渐转变，能同时参与到诊疗、数据分析和科学研究中［3］。

回顾国内外三维超声成像研究的历史，超声图像的采集方式大致分为两种。其一是使用改造的超声换能器直接采集三维体数据，如容积探头和面阵探头。容积探头组合电动机和线性阵列是一种过渡方案，成像质量不足，体积较大，便携性差［4-5］；面阵探头则由本身的性质决定其可以直接获取二维超声图像阵列，并记录其相对位置关系，但由于超声换能器改造工艺的限制，使用这种方式的探头体积较大，成像视野较小，图像质量相对较差，成本也比较高［6-7］。另一种则是使用传统超声探头，自由式采集二维超声图像阵列并进行三维重建，这种方式在临床上具有灵活、易于操作、不受扫描方向限制、成本较低等优点。但自由式采集需要依据外界的辅助定位系统来确定每一帧图像的三维空间位置。根据所用定位方式的不同，自由式采集又分为：借助机械臂定位器、光学定位器、磁场传感器、基于图像特征分析等方法。

本研究提出一种自由式的基于双目红外相机定位的三维超声图像重建系统。系统基于Qt、VTK、CTK、OpenCV 等框架开发，使用C++作为主要开发语言，形成一个完整的桌面级应用软件。通过连接双目红外相机和超声机，能够实时采集超声图像并获取图像间的位置关系，从而重建出三维结构。本软件具有操作简单、交互友好、运行稳定等特点；医生可以对图像阵列进行感兴趣区域勾画，对三维结构进行平移、旋转、缩放等操作。

1 图像采集与重建原理

1.1 标定与超声图像采集

自由式（Freehand）采集需要监测超声探头的轨迹，这一过程是通过安装位置传感器实现的，而位置传感器只是测量自身的运动，与探头获取超声图像还有一个位置和方向的变换，这个变换就是标定［8-10］。标定使得体数据填充更准确，从而让三维重建后的图像更具有医学参考价值，通常在诊断过程中，毫米级别的误差都会造成极大的不利影响。在三维重建的过程中，通常使用体数据填充技术，标定会提供一个图像的绝对坐标，还可以确定世界坐标和像素位置的对应关系，从而提高准确性［11］。

本研究把与红外相机配套的定位小球作为位置传感器。在超声探头上固定3个不共线的定位小球，这3个小球可以唯一确定一个平面（图1a），将该平面以及其对应的法向量定义为探头坐标系。从世界（相机）坐标系到探头坐标系是一个三维空间到三维空间的变换，由平移以及旋转操作即可实现，可以用式（1）表示。

其中，TPtoW（Probe to World）表示转换矩阵；Pw表示在世界（相机）坐标系中的某一点的坐标；Pp表示在探头坐标系下对应点的坐标；Opw表示探头坐标系原点在世界坐标系中的坐标。用矩阵表示则可以化为：

探头坐标系与世界（相机）坐标系的关系如图1b表示。定义向量以向量-- →-为Y 轴的正方向，经过C点向直线BA 做垂线交于点Op，以向量为X 轴的正方向，则根据右手定则，向外的法向量n→为Z 轴的正方向。

超声图像成像的位置可以认为在探头的下方某处，是一个规则的扇形范围，并由一个矩形框包围住，这个成像平面相对探头的位置始终不变，图像的4个顶点与探头上固定的3个定位小球是一个组合刚体（图1c）。探头和成像平面的组合体在旋转后相对位置保持不变。

图1 探头坐标系与探头图像组合刚体Fig.1 Probe coordinate and rigid body combination

我们认为，在实际采集过程中，选取超声探头采集到的图像中的点与计算机显示器中的点有一一对应关系。由于计算机显示器中的图像没有采用纵深坐标，其三维显示图像也是经过投影显示的。所以本研究假设P点为超声探头可以采集到的某一点，其在双目红外相机坐标系（即世界坐标系）下的坐标为P=(x0,y0,z0)，在计算机屏幕上的对应点坐标为P' =(x'0,y'0,z'0)，存在一个矩阵转换TWtoI（World to Image），可以将P与P'对应起来。

在OpenGL 右手三维坐标系下，采用的线性变换TWtoI是右乘的方式，而且在转换过程中并非使用简单的三维坐标，而是一种齐次变换，有4 个维度的坐标(x,y,z,w)，其中包括一个非线性的自由度w，使之像是投影到屏幕上一样。一般在计算时会将其归一化，经过此变化后自由度w对于坐标的值可认为始终为1，而对于向量始终为0。P与P'最终变成P=(x0,y0,z0,1)与P' =(x'0,y'0,0,1)（屏幕上显示的图像z轴方向的值都为0）。在三维世界中的任意一点，存在一个线性变换TWtoI，使其到计算机屏幕上的对应点的变换为P' =TWtoIP。转化为矩阵形式如式（3）所示：

所以要求得转换矩阵TWtoI，实际是在求齐次方程的解。由式（3）可知，4 个不同的点坐标即可求得TWtoI，在实际操作时通常多采集一到两个点，将其转化为一个优化问题，具体解优化问题的原理就在此不再赘述。

根据上述探头与相机坐标系的关系描述可以将TWtoI拆分为TWtoP与TPtoI（Probe to Image）。存在

而TWtoP是随着探头在世界坐标系中移动而变化的，计算机可以实时计算。由于超声探头采集图像的4 个顶点与探头上固定的3 个定位小球是一个组合刚体，所以TPtoI是固定不变的。因此图像采集前的标定其实是一个计算TPtoI的过程。

1.2 图像重建

本系统使用VTK 框架的体绘制模块作为三维重建的主要方法。使用红外相机定位可以获取采集到的超声图像阵列的位置信息，基本思路是将其抽象为一个大的体数据网格，遍历整个体积结构填入当前位置所对应的二维图像灰度值。

体绘制是直接使用三维数据网格投影产生屏幕上的二维图像，成像真实，结构清晰。体绘制技术可以通过改变不同区域的颜色与透明度等属性来实现对不同区域的区分渲染。超声成像技术所记录的其实是当前位置的灰度值（反射强度），所以可以通过调节不同位置的属性来对物体进行观察。另一方面，超声图像的噪声比较强，主要来自于声束在不均匀微组织间的散射干扰，上述的调整也可以减少噪声对观察图像的影响。

光线投射法是一种对图像阵列直接绘制的算法。从投影图像平面的每一个像素，沿视线方向（也可以是其他固定方向）从视点发射一条射线，光线穿过图像阵列。同时沿射线按照事先规定的步长对图像阵列进行等距离采样，对每个采样点使用插值算法来计算当前位置的体素值，并根据特定函数获取颜色值和不透明度［12］。同时依据光线吸收模型对颜色值进行累加，直至光线穿越整个图像阵列，最后得到的颜色值就是渲染图像的颜色。光线投射法是基于射线扫描的，绘制效果较好，而且可以在GPU 实现，速度较快［13］。

2 系统框架

本系统主要包括硬件部分和软件部分，硬件部分负责定位和超声图像采集，软件部分则负责矩阵计算以及超声图像的读取、重建、可视化。下面将详细介绍各模块的作用和具体实现。

2.1 硬件

2.1.1 双目红外相机及其配套工具双目红外相机是加拿大NDI公司生产的Polaris 红外光学测量仪器（图2a）。该相机可以产生850 nm 波长的红外光，配套的红外定位小球表面材料特殊，会反射红外光形成亮斑。相机则根据空间三角关系可实时求得定位小球在空间中的坐标，达到跟踪目的［14-15］。注册笔（图2b）在红外相机视野中可以直接获取笔尖的空间坐标，在系统中使用注册笔的笔尖在超声图像中的像素位置以及在其世界坐标系中的对应坐标来计算转换矩阵T。

图2 双目红外相机及其配套工具Fig.2 Binocular infrared camera and its matching tools

2.1.2 医用超声设备以及图像采集卡医用超声机是常用的B型超声影像设备，用来采集超声图像。在超声探头上固定3个不共线的定位小球，方便红外相机实时跟踪超声探头的位置。图像采集卡（图3）用于将超声机模拟串口的输出数据通过模数转换成为灰度图像，并读取到计算机内存中，供软件三维重建使用。

图3 图像采集卡Fig.3 Image acquisition card

2.2 软件

本系统软件的结构框图如图4所示，该系统可分为连接超声机和双目红外相机、测量或导入标定数据、超声图像采集与保存、感兴趣区域勾画以及三维重建与可视化共5个模块。系统成功连接超声机和红外双目相机后，使用设备测量转换矩阵；然后根据该矩阵，采集超声图像阵列，并根据空间位置关系重建出三维结构。医生可以通过交互窗口，对重建后的结构进行平移、旋转、缩放等操作。如有需要，可对超声图像进行感兴趣区域勾画。根据该框架设计的软件各模块功能示意图如图5所示。软件采用结构化设计，耦合性低，可扩展性高。在设计时主要分为红外相机模块、超声模块、重建模块、用户勾画模块。

图4 系统结构图Fig.4 System structure diagram

图5 软件功能示意图Fig.5 Diagrams of software functions

2.2.1 红外相机模块红外相机作为定位的关键设备，是整个软件系统工作的核心，为重建的体数据填充提供图像的绝对位置信息。本系统将相机的开发包进行封装，以静态库的形式导入软件链接器路径中，松耦合，可独立开发。标定和采集的过程都需要连接相机，如果红外相机未连接，则不能采集图像，只能导入硬盘中的图像数据。

2.2.2 超声机模块超声机模块的作用是采集超声图像，搭配图像采集卡，可将超声机模拟串口的数据转化为RGB 视频格式，最终将灰度图读取到计算机内存中。标定和采集的过程也都需要连接超声机。

2.2.3 重建模块重建模块是使用VTK 填充、渲染及可视化的，VTK内部封装了OpenGL的三维可视化技术，使用对象化设计思想，提供标准化接口，可供设计者定制化开发。

2.2.4 用户勾画模块用户勾画模块基本的设计思想是一种掩模的思想，在待勾画的超声图像上盖上一层掩模（Mask），对这一图层进行勾画操作，之后覆盖在原超声图像上。

3 系统实验结果图

实际操作中，受实验条件所限，重建物体为水槽中的一个由硬质塑料棒穿过的塑料球体。对标准乒乓球（直径40.00 mm，质量2.53～2.70 g）进行三维重建后的图像如图6所示。医生可以根据需求对图像进行平移、旋转、伸缩等基本操作以便观察。

图6 三维重建后的图像Fig.6 Image after three-dimensional reconstruction

经过实验，由游标卡尺测得得实验所用乒乓球直径约为39.72 mm，与标准乒乓球的直径误差约为0.28 m。而通过系统测得超声图像中乒乓球的直径平均像素坐标差为102.94 个像素，约合实际直径为39.59 mm，与实验所用乒乓球直径的绝对误差的平均值约为0.53 mm，方差为0.333 9，标准差约为0.577 8。考虑到手工测量的误差以及超声图像本身的性质，基本可控制图像误差在0.5 mm 级别（个别区域在1.0 mm 级别），与超声图像分辨率（也即像素距离0.384 6 mm）较为接近，具有较高的准确性（表1）。

表1 系统实验结果表Tab.1 Result of system measurements

由表2可以看出，图像的读取时间随着图像的张数基本成正比例关系，随着图像张数增加至443 张，耗时达48 s左右，因为图像的数量较多，图像的分辨率为1 024×600，大小是600 k，443 张图片约合260 M，时间尚可接受。

表2 图像读取与重建效率Tab.2 Efficiency of image reading and reconstruction

图像重建方面，可以观察到使用四线程时，如果图像数量较少，重建速度提升较少；而图像数量较多时，重建速度显著提升3 倍以上。当图像数量在200张左右时（大概可供使用者采集6 s），重建用时在10 s以内即可完成，具有较高的效率。

4 结论

三维超声成像技术具有直观、清晰、经验依赖少，便于影像融合等优点，综合了临床医学、计算机技术、光学、机械等多方面技术，也是由临床需要、科技进步以及商业利益共同催生的［16］，在近年来一直是国内外专家学者的研究对象。

本系统主要研究了基于双目红外相机定位的自由式三维超声图像重建系统，并完成了桌面级软件平台的搭建。使用双目红外相机与定位小球采集到的超声图像阵列位置信息完成体数据的填充。借助Qt、VTK、OpenCV 等开发框架对医学影像的支持完成开发工作。Qt 主要的角色是GUI设计、事件调度以及消息管理，以提供更好的交互性能，使得系统人机友好，便于使用；VTK 则实现了三维重建与可视化功能；OpenCV 框架是图像处理算法的开源框架，对算法进行封装可以实现功能扩展，使软件支持底层算法的定制化开发。整个软件系统可以实现超声图像的标定、采集与重建，比较准确地还原物体的三维结构，对于未来科学研究，甚至是进一步走向临床，开展创新创业活动，奠定了良好的基础。