基于双目结构光的术中肝脏表面局部亮度饱和分区投影

陈 龙，王文聪 ，张峰峰，2*，孙立宁 ，2

（1. 苏州大学 机电工程学院，江苏 苏州 215006；2. 苏州大学苏州纳米科技协同创新中心，江苏苏州215123）

1 引 言

肝癌患者人数呈逐年递增趋势，目前全世界每年新增700 000 肝癌患者，其中亚洲国家患者占78%［1］。开放式肝脏肿瘤切除手术是治疗肝脏肿瘤的最有效方法，在开放式肝脏肿瘤切除手术中如何对肝脏进行三维重建以为术中肿瘤提供精确定位已经成为手术导航领域需要重点解决的问题之一［2-4］。目前双目结构光三维重建作为术中人体组织三维重建的方法之一，具有无辐射和重建速度快等特点［5-6］。但由于术中肝脏表面局部亮度饱和等问题，其三维重建的表面容易发生缺失。

在医疗行业，用于三维重建的结构光技术尚未成熟，只有少部分技术可以用于内窥镜肠道、肺以及肾等器官的三维重建［7］。2012 年，德国纽伦堡大学的研究者［8］提出了一种基于单目结构光的新型内窥镜3D 扫描系统，实际实验测试羔羊气管的内表面进行扫描三维重建的效果较为一般。2014 年智能机器人与系统国际会议上，美国哥伦比亚大学的研究人员［9］使用基于结构光的腹腔镜系统，通过该系统可以解决传统的腹腔镜技术在微创手术过程中只能提供二维图像，导致医生没有三维深度信息感知的问题。此外，2018 年加拿大多伦多大学的研究人员［10］利用结构光进行高速、高密度术中三维光学成像，用于开放式颅脊外科手术导航中MRI 和CT 图像的有效配准。但是目前已有的研究中没有针对开放式肝脏肿瘤切除手术中存在的由于手术环境和相机采集视角等引起的肝脏表面局部亮度饱和而导致肝脏表面三维重建缺失的问题进行研究和解决方法。

针对上述问题，本文提出基于不同反射率区域分割投影算法制定的自适应最佳条纹光栅的方法来解决上述问题。同时，搭建术中基于双目结构光的肝脏表面三维重建系统平台，制定基于该系统平台的肝脏三维重建的流程并通过猪肝实验对本文提出的方法的有效性进行验证。

2 针对肝脏表面局部亮度饱和的分区投影算法

2.1 肝脏表面光照模型

在肝脏肿瘤切除手术过程中，可能会因为投射光线和手术环境光等原因而产生肝脏局部亮度饱和的现象。根据医生提供的术中信息，在采用基于相移的双目结构光进行肝脏表面三维重建时，也会出现该问题。从物理光学的角度分析，肝脏表面对投影光线的吸收、反射以及反射角度等因素将会影响肝脏表面的三维重建。如图1 所示，建立肝脏表面的投影光照模型，假设投影仪投射至肝脏表面O点的光线为Lp，反射的光线的方向为Lb，O点处的法线用Nf表示，相机的视角方向用Cc表示。肝脏表面的反射光线通常包括其漫反射和镜面反射，其中镜面反射主要由镜面反射叶瓣和镜面尖峰组成。

图1 肝脏表面物理光照模型Fig.1 Physical illumination model of liver surface

相机实际的采集视角所获得光强（指照度，单位为Lux，后续光强均是此意）与其和反射光线的夹角γ相关，当γ=0 时，相机采集的光强达到最大值。假设投射的光线的强度为Ip（x，y），肝脏表面的镜面反射系数和漫反射系数分别为Gj和Gm，则肝脏表面某点的镜面反射和漫反射的光强分别通过式（1）和（2）计算得：

其中：Im（x，y）和Ij（x，y）分别表示漫反射和镜面反射的光强的分量，n代表肝脏表面的反射指数。当相机沿着Cc方向采集图像时，从式（2）可以看出肝脏表面的亮度饱和区域主要集中在镜面反射的叶瓣区域。

2.2 肝脏表面局部亮度饱和的影响

如图2 所示，通过投影仪投射条纹光栅至肝脏表面，由相机采集图片后再进行相位解算和匹配。目前采用的CCD 相机通常其灰度值的级别都受限制，正常情况处于0～255 范围，容易导致过度曝光某个区域的像素［11-13］。主要是因为当灰度值到达255 时，该区域的条纹光栅被截断导致在条纹光栅的解相过程中包含于条纹光栅的相位信息发生丢失，进而导致肝脏表面该区域的三维重建缺失。

图2 基于双目结构光系统的肝脏表面光照示意图Fig.2 Light schematic of liver surface based on binocular structured light system

假设采用的条纹光栅为N步相移之后产生，且此时只有图像饱和因素带来的强度误差，投影仪的光强若为Ipi（x，y），则投射至肝脏表面后，相机能采集到的光强为：

根据式（3）可以进一步得到基于亮度饱和图像的相机和投影仪的光强差以及因此而产生的相位的误差：

由式（5）可以看出随着N的增大，由于亮度饱和引起的相位的误差将减小，但无限制的增加相移步数也会导致三维重建的效率低、过程繁琐的问题［14-15］。

2.3 自适应最佳投影条纹的求取及投影点的映射

2.3.1 基于肝脏表面不同反射率区域分割算法的最佳条纹光栅投影强度计算

在实际的肝脏表面三维重建过程中，如图3所示，需考虑多种因素，以左相机为例，当投影仪的光强为Ip，假设手术环境的光强为IES，肝脏表面整体的平均反射率为ρ，左、右相机的曝光时间和增益分别为Ct和Cz，则相机不仅能够采集到投影仪的光强ρIp，还能接收肝脏表面反射的手术环境的光强ρIES，以及直接被相机采集的手术环境光强IEC。

图3 手术环境下的肝脏表面光照分析Fig.3 Light analysis of the surface of the liver based on the surgical environment

通常相机也会存在一定遵循高斯分布的相机噪声IZ，考虑到以上多种因素后，相机采集到的强度通过投影仪像素坐标系和相机图像坐标系可表示为：

当Ct和Cz为定值时，则此时相机存在的噪声IZ1=IZ/（CzCt）仍然服从高斯分布：

在实际的手术过程中进行肝脏表面三维重建时肝脏表面的反射强度以及手术环境的光强基本不会发生变化，本文假设它们为固定值。令同时对c、d进行偏微分求导整理后得：

一般情况下c、d的值只需要2 幅条纹光栅图像便可求得。肝脏在手术过程中其表面材质的反射率的变化可忽略不计，假设仅投影的光强发生变化，将n幅具有统一灰度的光栅图案投射至肝脏表面可得：

由将相机拍摄的图像上的每个像素点的反射率和手术环境与肝脏的表面的相互反射的光强分别命名为则对上式（11）求解可得：

由式（12）可知，在手术环境、相机的曝光时间和增益以及肝脏表面的反射率不变的情况下，投影仪投射的光强是唯一影响相机采集图像灰度值的因素。本文使用的CCD 相机在采集图像时要考虑到整个系统存在一定的噪声，因此设置的最佳条纹投影强度要考虑相机采集的最佳的条纹强度除了防止图像局部亮度饱和以外，还要留下一定的图像的灰度空间。一般情况下采集的图像较为合适：

式（13）可以看出，投影仪投射的条纹图像中每个像素的最佳投影强度与肝脏的手术环境、每个像素对应的反射率以及和肝脏表面形成的互反射相关。相机拍摄的肝脏表面条纹光栅的照片的像素较高，因此在此种情况下，为每个像素制定一个最佳的投影的灰度显得计算量巨大，并且缺乏科学性。根据式（12）可以推出实际过程中主要由c（x，y）和d（x，y）的分布来共同决定投影仪的投射强度。

肝脏表面不同位置的反射率其实并不相同，因此可以将表面尝试着划分成几个小区间，每个区间对应不同的投影仪最佳投影灰度。当划分的区间步长较小时，此时重建的精度将较高，但效率将降低；反之，重建的效率将提高，但精度降低。

目前已有的研究中有采用人工手动进行区间的划分，但是该技术在实际肝脏手术过程中，医生缺乏相关经验无法对其进行划分，同时该划分增加了手术的繁琐度，增加手术风险。考虑手术的需要，本文需要对其区间实现自动化分，在划分过程中需要对像素的反射率计算出一个合适的分割阈值。像素反射率的区域分布与对应内容的关系如图4 所示，其中目标和背景分别对应着1 号和3 号区域，2 号和4 号区域分别代表边缘以及噪声。通常情况下像素主要来自于目标和背景，与它们的反射率相近，因此其反射率的值会分布在对角线附近。

假设像素的反射率用g(x，y)来表示，则其相邻区域的均值可表示成：

式（14）中dwidth×dwidth表示所选中的相邻的区域大小且dwidth的值通常为奇数，i和j分别表示x和y方向移动的像素的大小。

将p(g，n)表示成g(x，y)和r(x，y)进行联合定义(g，r)的概率密度函数，(g，r)的频率函数用f(g，n)表示，结合图4 可以将肝脏手术背景和目标肝脏的概率表示成：

图4 像素反射率与图像内容对应关系Fig.4 Corresponding relation between pixel reflectivity and image content

将手术背景和目标肝脏的离散的度量矩阵σD表示成：

可推出其距离度量的函数为：

假设二维的术中相机拍摄的图像最佳的分割的阈值为：

令Qi表示设定的阈值，其中i=4，表示可将表面的反射率划分成4 个不同的区间：

其中：ηa，ηb，ηw是比例因子，阈值Q划分出的区间为（0，Q1］，（Q1，Q2］，（Q2，Q3］，（Q3，Q4］，则 这 四个区间的最佳投影光强分别可表示为：

针对本文采用的四步相移法，其投影光栅条纹的平均强度和调制强度为：

根据式（21）和（22）则按区间划分的投射至肝脏表面的条纹光栅的最佳投影灰度为：

2.3.2 投影仪投影点的映射和投影流程

投影仪的最佳投影强度需要通过相机图像坐标系与投影图像坐标系之间的转换才能转换到投影仪投射的条纹图像中。通过肝脏表面三维重建系统的标定参数，可以将右相机拍摄图像中的局部亮度饱和点的坐标转换到左相机图像中。左相机拍摄图像中的局部亮度饱和点通过已标定好的左相机与投影仪之间的内、外参的关系转换到投影仪投影图像中的点。

针对手术过程中出现的肝脏表面局部亮度饱和的问题，采用自适应投影强度的条纹光栅进行有效克服。如图5 所示，针对每个像素的反射率不同以及手术环境的光强等因素，利用阈值分割法对其反射率进行区间划分，有效的确定了亮度饱和区域的位置。借助肝脏表面三维重建系统的标定，将饱和点映射到投影图像中，从而进一步计算符合该饱和点处的条纹光栅，实现最终的三维重建。

3 实验结果与分析

3.1 肝脏表面三维重建系统的硬件平台搭建

肝脏表面三维重建的硬件平台主要由图6 所示的显示器、工作站、投影仪、双目相机、滑动支架、支撑架、手术器械、猪肝等组成。每个硬件的参数/型号和具体作用如表1 所示。可以通过滑动支架来调节投影仪和双目相机距离待重建的肝脏表面的高度以及投射的角度，上下高度的移动距离范围在0.2~1.2 m 左右、前后移动的距离范围均为0.3~1 m，投影仪在左右两根移动架和横梁上的投射角度范围分别为0~180°和0~360°。通过该平台可以模拟医生在手术过程中对肝脏表面的切割，同时可以根据医生的需要，从不同角度对暴露在视野范围内的肝脏表面进行高精度、快速三维重建。

图6 基于双目结构光的肝脏表面三维重建系统硬件平台Fig.6 Hardware platform of three-dimensional recon⁃struction system of liver surface based on binocular structured light

表1 肝脏表面三维重建平台硬件作用及参数Tab.1 Hardware function and parameters of three-dimensional reconstruction platform of liver surface

3.2 局部亮度饱和改善前后的肝脏表面三维重建

由于实际的手术环境光对双目相机的信息采集存在影响，同时双目相机和投影仪之间摆放位置的原因，将可能导致投影仪投射条纹光栅至肝脏表面时，双目相机视角中拍摄的图片中存在局部亮度饱和的问题。针对该问题本文提出基于不同反射率区域分割的自适应条纹光栅来克服该问题。由于猪肝与人体肝脏在实际的颜色、质地和生物力学特性等方面存在很大的相似性，考虑到医学道德伦理以及实验条件的限制，采用猪肝作为实验对象。在基于同样的环境、同样的双目相机的信息采集角度等条件下，选取猪肝初始面、猪肝表面切割面以及肿瘤剜除后的表面作为研究代表，通过局部亮度改善前后的肝脏表面三维重建结果进行对比，进一步验证本文提出方法的有效性和科学性。

3.2.1 局部亮度饱和影响改善前的猪肝重建表面验证实验

本实验选择附有肿瘤的猪肝作为实验对象，猪肝的表面未经任何切割，保留其原始的状态。如图7 所示，白色圆圈圈出的地方代表肝脏肿瘤存在的地方。由于实验条件的限制，从猪肝的底部挖开口置入乒乓球来代替肝脏中的肿瘤。将猪肝放在手术床单上，平稳的放到研究提出的肝脏表面三维重建系统的硬件平台上。

图7 附有肿瘤的猪肝Fig. 7 Porcine liver with tumor

调整双目相机和投影仪的位置，使猪肝能够出现在投影仪投射条纹光栅的投射范围内，同时确保双目相机视角范围内能够采集到猪肝表面清晰完整的图像。当双目相机和投影仪的标定完成后，利用投影仪向猪肝表面投射条纹光栅图像，双目相机实时采集图像。但在投射的过程中通过双目相机的视角（以左相机为例）可以发现，如图8（a）所示的猪肝表面存在如方框圈出的局部亮度过饱和呈现白色亮斑的区域。

图8 基于不同手术状态下猪肝局部亮度饱和改善前的三维重建Fig.8 Three-dimensional reconstruction of porcine liver based on local luminance saturation improvement

本实验从实际手术过程医生对肝脏三维曲面的要求入手，验证局部亮度饱和区域对猪肝最终三维曲面的影响。从图8（a）中曲面重建的放大图看出，三维点云缺失的区域经过曲面重建后仍然存在对应的缺失，而其他部位无任何缺失，证明在该状态下局部亮度饱和对猪肝表面三维重建的完整性存在影响。

在实验（a）的基础上，模拟肝脏手术过程的切割操作，如图8（b）所示，在猪肝表面用手术刀切出圆形切口。图中方框框选的区域为相机捕捉到的局部亮度饱和区域。从图8（b）中猪肝曲面的放大图可以看出，与条纹光栅局部亮度饱和区域相对应的区域也存在三维重建的缺失，结合俯视角度和侧视角度依然可以看出仅有局部亮度饱和的区域存在三维重建缺失，其余区域均取得良好的三维重建效果。

按照手术的流程，利用手术刀在猪肝表面切开圆形切口后，找到肿瘤（乒乓球）的位置将其剜除，再次利用传统的双目结构光系统向猪肝表面投射条纹光栅，最终的效果如图8（c）。从图中可以看出随着切割时猪肝位置的变动，导致猪肝切口附近区域出现局部亮度饱和现象。由此可见局部亮度饱和区域对其附近的区域也存在一定的影响。

通过上述三个手术过程可以看出，在各个手术阶段均存在不同的亮度饱和区域，传统的双目结构光针对术中出现的局部亮度饱和的问题均无法解决。

3.2.2 局部亮度饱和影响改善后的猪肝重建表面缺失验证实验

从猪肝表面三维重建的实验效果来看，局部亮度饱和的区域必然存在三维重建缺失，为了验证本文提出的基于自适应条纹光栅的肝脏表面局部亮度饱和区域三维重建的效果，本实验选择同样的实验对象：猪肝初始表面、圆形切口表面以及肿瘤剜除后的表面，以此来对猪肝表面局部亮度饱和区域三维重建的效果进行验证。

本实验与局部亮度饱和改善前的实验同时进行，例如当双目结构光对肝脏初始表面三维重建后，保持所有的硬件设备和猪肝实验对象固定位置不动，此时采用本文提出的自适应条纹光栅重新投射至猪肝表面。利用双目相机采集此时的图像，并完成最终的猪肝表面整体的三维重建。从图9 可以看出左相机拍摄的猪肝的初始表面、圆形切口表面以及肿瘤剜除后表面的条纹光栅图像均不再存在局部亮度饱和区域，与实验3.2.1 中相对应的局部亮度饱和区域均恢复正常。相机拍摄图像中的条纹光栅被亮斑截断的问题得到解决，条纹光栅都均匀有序的分布。

图9 基于不同手术状态下猪肝局部亮度饱和改善后的三维重建Fig.9 Three-dimensional reconstruction of porcine liver based on local luminance saturation improvement

本文提出的方法以三维重建的猪肝表面为基准面，将改善前和本文提出的方法重建出的猪肝表面之间的偏差进行分析。从图10 中可以看出，除了局部亮度饱和区域存在较大的偏差，其余区域的偏差大部分均在0.01 mm 以内，可以忽略不计。猪肝初始表面、圆形切口表面以及肿瘤剜除后表面的偏差的标准差分别为0.05，0.12 和0.21 mm。在曲面三维图中因局部亮度饱和而导致三维重建表面的缺失比率分别从1.1%、2.9%和1.4%降至0%。将局部亮度饱和区域进行放大分析，该区域附近相邻的区域也是偏差较为集中的地方，少部分区域甚至出现较大的偏差，如表2 所示，邻近区域最大的偏差达到7.45 mm，平均偏差到达3.23 mm，与曲面整体平均偏差为0.18 mm。由此可以看出局部亮度饱和不仅会对该区域造成三维重建影响，对其相邻的过渡区域也会产生一定的影响。

表2 局部亮度饱和改善前后肝脏表面三维重建的偏差Tab.2 Deviation of 3D reconstruction of liver surface be⁃fore and after local brightness saturation improve⁃ment

图10 局部亮度饱和附近区域改善前后的三维重建对比Fig.10 Three-dimensional reconstruction comparison of the area near local brightness saturation before and after improvement

3.3 基于局部亮度饱和改善后的肝脏表面三维重建系统精度实验

利用猪肝模拟医生在真实的肝脏肿瘤切除手术环境下所可能采取的手术操作，例如肝脏表面的切口、肿瘤的剜除等。采用本文设计的系统对猪肝在不同手术操作下的表面进行三维重建。

通过CT 机（苏州大学附属第一人民医院提供）对猪肝表面按腹部软组织条件进行扫描，扫描的切片层厚为0.2 mm。将扫描生成的猪肝的CT 切片通过DCM 文件格式进行保存。在Mim⁃ics 软件中导入保存好的猪肝CT 切片，通过图像预处理、阈值分割等操作，具体效果如图11 所示。将三维重建好的猪肝模型以STL 文件格式导出，作为衡量基于本文提出的双目结构光系统三维重建出的猪肝表面的参考面。

图11 基于CT 切片的猪肝三维重建模型Fig.11 Three-dimensional reconstruction model of pig liver based on CT section

本小节实验研究主要在解决肝脏表面局部亮度饱和后，对本文的肝脏表面三维重建系统进行精度验证，选取在医生手术过程中常用的“一”字切割和肿瘤剜除前后等手术操作进行模拟，并在此状态下进行肝脏表面三维重建。为了验证猪肝表面三维重建的精度，将此状态下的猪肝进行CT 扫描及三维模型的重建。采取与CT 重建的三维模型表面匹配精度的方式来衡量，以CT重建出的猪肝三维表面为参考面，通过Geomagic软件来测量本文方法所重建的猪肝表面与CT 重建的猪肝表面之前的误差，最终以平均误差的形式来衡量本文方法在上述几种手术状态下的猪肝表面三维重建的精度。

3.3.1 “一”字切口的猪肝表面三维重建精度验证

利用手术刀在猪肝表面划开一条“一”字的切口，模拟医生在手术过程中对肝脏的“一”字切割操作。利用本文的肝脏三维重建系统和Mimics 重建出来的猪肝表面如图12 所示。对基于本文系统三维重建的猪肝表面进行精度分析，最终得到的猪肝表面三维重建的误差大致集中在-1.82~0.49 mm，平均误差值为0.49 mm。

图12 “一”字切口的猪肝表面三维重建精度验证Fig.12 Verification of three-dimensional reconstruction accuracy of porcine liver surface with "one" inci⁃sion

3.3.2 肿瘤剜除前、后的猪肝表面三维重建精度验证

选取白色塑料小球模拟肝脏中的肿瘤，将小球置于猪肝中，使小球半暴露于空气中。通过此方法来模拟实际的肝脏肿瘤切除手术中肿瘤暴露于空气后的肝脏表面状态，具体猪肝表面的三维重建的效果和误差分析色谱图如图13 所示，肿瘤剜除前肝脏表面三维重建的误差大致集中在-2.62~2.15 mm，平均误差值为0.88 mm。利用手术刀紧贴肿瘤表面将其剜除，保持猪肝自由状态。利用本文提出的肝脏表面三维重建系统对剜除后的表面进行三维重建，同时利用CT 扫描此时的猪肝并对其进行三维重建。将二者重建后的表面进行差异性对比，从表面误差的色谱图中可以看出两个表面的大致误差区域集中在-2.15~1.98 mm，平均误差值为0.89 mm。

图13 肿瘤剜除前、后的猪肝表面三维重建精度验证Fig.13 Verification of precision of three-dimensional re⁃construction of liver surface before and after tu⁃mor enucleation

本实验对医生在肝脏肿瘤切除手术过程中常遇到几种手术切割方式，在上述的猪肝表面三维重建实验中进行精度验证。假设（xsi，ysi，zsi）为结构光三维重建的肝脏表面上的一点，（xci，yci，zci）为 CT 三维重建出的表面上的一点，则二者表面共n 个对应点之间的平均误差Ea为：

最终的实验结果如表3 所示。从实验结果可以看出肝脏表面三维重建的平均误差大致会随着猪肝表面切割状态的复杂度增大。

表3 不同手术状态下的猪肝表面三维重建精度Tab.3 Accuracy of 3D reconstruction of liver surface un⁃der different operating conditions

4 讨论与分析

目前已有的术中肝脏三维重建方法，例如CT、X-ray 等方式均具有辐射，会在术中对医生和病人造成二次伤害。除此以外，采用常见的MRI 成像的方式虽然解决了辐射的问题，但是在术中不能在同一房间里使用监护和抢救设备，这将会极大增加术中病人的手术风险。从三维重建的对象角度进行分析，目前国外已有的基于结构光技术的脊柱三维重建效果相对较好。但与脊柱不同的是，肝脏表面纹理较弱、比较光滑，容易造成局部亮度饱和，进而影响三维重建的完整性。在基于本研究方法基础上重建的肝脏表面的误差主要包括以下几个方面：

（1）本文主要模拟肝脏开放式肿瘤切割手术环境、手术区域和手术操作要求等，与实际的真实手术环境存在一定区别。因此在实际的手术环境中可能肝脏表面缺失面积和三维重建的误差将发生略微变化。

（2）本文出于系统硬件的成本考虑，选用的相机和投影仪等设备精度相对一般。硬件的精度将会对肝脏表面三维重建的精度造成一定的影响，因此，后续可以对系统平台的硬件进行进一步优化。

（3）硬件系统中的相机和投影仪的标定算法需要进一步优化。相机和投影仪标定的参数作为后续三维重建的基础参数，对后续肝脏表面三维重建的精度有着重要影响。

5 结 论

本文主要解决由于手术环境光照、双目相机视角和投影仪投射角度等问题造成的肝脏表面局部亮度饱和而导致术中肝脏表面三维重建缺失的问题。首先，对手术环境下的肝脏表面光照模型进行研究，分析了肝脏表面局部亮度饱和对三维重建的影响。其次，根据肝脏表面像素点反射率不同，将肝脏表面划分成小区间，计算最佳条纹光栅强度。然后，将投影仪的最佳投影强度转换到投影仪投射的条纹图像中，建立投影点映射关系和规划投影流程。通过猪肝实验结果表明：采用本文提出的方法后，三种不同手术状态下因局部亮度饱和而导致猪肝三维重建表面的缺失比率分别从1.1%、2.9%和1.4%降至0%，并且猪肝表面三维重建精度达到0.75 mm。本文的方法基本可以满足医生提出的术中肝脏表面三维重建精度1 mm 以内并且重建表面无缺失的要求。