裸眼三维电子腹腔镜系统设计与实现

【作者】谷东兴，江娟娟，李建军，严壮志

1 上海大学通信与信息工程学院，上海市，200444 2 中国航天工业集团公司华东光电(上海)有限公司，上海市，201114

裸眼三维电子腹腔镜系统设计与实现

【作者】谷东兴1，江娟娟1，李建军2，严壮志1

1 上海大学通信与信息工程学院，上海市，200444 2 中国航天工业集团公司华东光电(上海)有限公司，上海市，201114

微创手术具有创伤小、术后恢复快、降低患者手术风险的优点。相比于传统的二维腹腔镜技术，三维腹腔镜系统使用双光路成像系统和三维显示设备，改善了二维成像技术在深度信息上的缺乏，降低了医生操作手术器械的难度，提高了手术的准确性。为此，该文作者设计了一套能够提供深度信息的裸眼三维宽视场电子腹腔镜系统, 该系统主要由双光路CMOS摄像腹腔镜模块、图像处理模块、裸眼三维显示模块组成。在设计中为了保证医生在多个角度可以观看到三维效果，使用了基于主动形状模型的方法实现人眼跟踪，从而实现宽视场显示。采用该系统进行手术模拟训练的初步实验结果表明，完成指定操作的时间明显少于传统的未加入深度信息的腹腔镜系统所用时间。

微创手术；腹腔镜；裸眼三维显示；眼部跟踪

0 引 言

随着现代医学技术的不断发展，微创外科手术凭借创伤小、减轻患者痛苦、术后恢复快、降低医疗成本等诸多优点逐步取代了开放式手术，在早期的内窥镜手术领域中得到了广泛应用[1-2]。与开放式手术相比，医生在微创手术中受术野限制，缺乏对距离的精确估计，一定程度上增加了手术的不确定性，对病患的生命安全带来风险。为此，人们提出了三维腹腔镜系统，采用双光路的腹腔镜模仿人的双眼，对手术的场景进行拍摄与三维重建[3]，在微创手术实施过程中提供给医生手术区域的深度信息，协助医生估计操作器械与内部脏器之间的位置。

近年来兴起了外科手术机器人系统[4]，可以让医生在操控外科手术机器人系统时，头部枕于显微镜观测台上，通过左右目镜观测腹腔镜手术区域内脏的三维图像，然而医生以低头观视的姿态进行长时间手术会造成医生的疲劳。Lusch等[5]提出一种基于双目视觉的三维腹腔镜系统，医生通过佩戴偏振光式眼镜获得深度信息，该双光路腹腔镜系统可通过自动调焦的方式减少医生头晕现象的发生。Uyama等[6]介绍一套探头可弯曲的三维电子腹腔镜系统，采用可调整角度的前端采集方式，用以扩展图像采集范围，但是不能避免佩戴3D眼镜的困扰。尽管上述三维电子腹腔镜系统方案能够提供准确的深度信息，但是在手术过程中医生不得不通过佩戴3D助视设备（眼镜和头盔）来获得深度信息，长时间佩戴会造成医生视觉不适及视觉疲劳。同时会遇到视野变窄、光线变暗以及由于显示技术本身带来的辐辏调节冲突等问题[7-11]，这些问题更容易加深医生的视觉疲劳，影响了手术操作的安全性。

为了使医生以自然的观视姿态获得深度信息，文中开发了一种宽视场裸眼三维腹腔镜系统，该系统由双光路CMOS腹腔镜图像采集模块、图像处理模块、裸眼三维显示模块组成。为了能让医生在多个位置观看到三维效果，在显示模块加入了基于主动形状模型方法的人眼跟踪子模块。经调试，该系统可以实现双路图像采集和三维显示的功能。为了证明该系统在手术训练过程中可以给医生提供深度信息，通过对比操作者在二维腹腔镜和三维腹腔镜下进行穿孔训练操作，发现在三维腹腔镜下完成任务的时间少于使用二维腹腔镜操作时间。结果表明，该系统给操作者提供了可靠的深度感知，帮助操作者提高操作效率。

1 需求分析

以自然的观看姿态获得微创手术区域的深度感知，可以在长时间的手术过程中协助医生更好地操作手术器械，减少对正常组织的损伤，同时也不会给医生带来更多的视觉疲劳。为此，面向于微创手术应用，本文从三维内窥镜系统的前端采集与后端显示角度出发，来保证深度信息的有效获取与自然观看方式的实现。本系统在设计过程中需要考虑以下因素：

（1）在微创手术中，腹腔镜的工作纵深大致在150 mm左右，腹腔镜与器官之间的最小距离在10 mm左右，腹腔镜最佳工作距离为40 mm。工作环境的限制为内窥镜镜头参数的选择和加工提出了要求。

（2）本系统应能提供深度信息给医生，腹腔镜采集系统采用双光路相机拍摄方式来获取内部脏器的深度信息。同时结合微创手术的要求，双光路的结构不能增加腹腔镜的尺寸，同时还要保证大视野，以减少腹腔镜的多次移动。

（3）在深度信息的呈现上，无需佩戴助视设备的三维显示方案能够缓解医生的疲劳，但受制于裸眼三维显示观看视角小的问题，因此一种能够实时跟踪人眼位置，调整显示输出的机制需要加入到系统中。

（4）为了便于医生的操作，在电脑端有必要增加交互功能，增加本系统的易用性。

2 系统设计

针对上述需求，文中设计了一套裸眼三维宽视场电子腹腔镜系统，主要包含双光路CMOS腹腔镜采集模块、图像处理模块、宽视场裸眼三维显示模块共三个模块。本文将从硬件和软件两个方面具体阐述本系统的设计细节。

2.1 宽视场三维腹腔镜系统硬件设计

图1给出了裸眼三维腹腔镜系统的结构图。图中左右内窥镜分别摄取具有视差的立体图像对，通过采集卡接口输入，经过解码芯片处理后变成图像数据流。FPGA采用外置高速存储器作为数据帧缓存器，对图像进行处理，最终在屏幕上显示二维或三维图像。FPGA还需要接收串口传送过来的排图命令，来实现三维显示的调整。通过串口输入控制指令，FPGA将图片重新进行排图处理，然后输出为与透镜光栅匹配的图像，从而实现二维/三维兼容切换显示功能。下面将分模块对系统进行分析。

图1 裸眼三维腹腔镜系统框架图Fig.1 The schematic diagram of glasses-free 3D laparoscope system

2.1.1 双光路CMOS腹腔镜采集模块

在感光元件的选择上，出于集成度和功耗的考虑，本文使用了CMOS传感芯片。区别于单光路腹腔镜，本系统增加一条光路，组成双路CMOS腹腔镜来获得左右视差图像对，如图2所示。双光路结构有两种排列方式：汇聚式和平行式。汇聚式排列方式给制造工艺带来更高要求，同时采用该结构相机外径偏大、造成楔形失真影响观看效果，而采用双光路结构可以避免这些问题。综合考虑，本系统采用平行式的双光路结构，如图2(a)所示。

图2 双光路相机几何模型Fig.2 The structure of dual beam camera and corresponding geometric model

本系统中左右两台摄像机的参数完全相同，左、右摄像机的轴线距离为B(基线)，f表示相机的焦距。立体视觉空间场景中的一个物点P(x, y, z)在相机的两个成像平面上的投影分别是(xl, yl)和(xr, yr)，当B的值在人双眼间距的变化范围内，这个系统便构成了模拟人眼的双目立体成像系统 。

为了便于分析，取上述成像模型中平行于ZlcOlcXlc的平面图，如图2(b)所示，在这种放置方式下，由△POlOr～△PPlPr，拍摄左右图像上的匹配点坐标值计算出世界坐标系中物点P所对应坐标。

由三角形相似原理可以得到

由式（3）可得视差d与深度z成反比例关系，即物体距离摄像机越近，视差越大，立体感越强。操作者凭借这个几何关系来判断手术器材和目标脏器之间的距离。

根据前文的需求，本系统中所制备的双目内窥镜外径为13 mm。考虑人眼疲劳的阈值条件[7]同时结合双目视觉的式（3），内窥镜的基线尺寸为5 mm。工作距离的范围为5 mm ～70 mm。选用的物镜的视场角是70o。表1中给出了设计所选用的参数。

表1 本文系统三维腹腔镜物镜设计指标参数Tab. 1 The specif i cation of 3D laparoscope objective lens of this article

2.1.2 三维立体显示模块设计

左右立体图像对只有在三维显示器上才可以得到三维显示效果。目前常见的三维显示技术主要分为：眼镜式三维显示和裸眼式三维显示技术。由于眼镜式三维显示技术要求观看者佩戴眼镜，这就使医生在进行手术时需要额外佩戴一副3D眼镜，增加了医生手术中的不适感；同时由于裸眼三维显示技术显示效果已经可以接近于眼镜式三维显示，所以在本系统的设计中使用了裸眼三维显示的方案。

目前常用的裸眼三维显示技术包括：体三维、全息显示、视差式显示技术。但是目前前两者的显示技术尚不成熟，不利于产品普及，所以本系统选用了左右视差式的狭缝式光栅显示技术。

狭缝式光栅自由立体显示技术是利用双眼视差形成立体视觉的三维显示技术。狭缝式光栅立体显示器由液晶面板和附着在面板上的光栅组合而成，这种狭缝光栅使得显示器面板上的奇数列像素用来显示左（右）眼图像，偶数列像素用来显示右（左）眼像素。观察者通过视觉中枢融合处理就能觉察到立体感的图像和视频。

针对竖直光栅带来莫尔纹的问题[12]，在设计中，将狭缝光栅的摆放和显示器屏幕竖直方向成一定夹角，成为斜置光栅透镜，这种排列方式，降低了狭缝光栅和显示器之间的干涉以及莫尔条纹对观看带来的影响。图3是斜置狭缝光栅设计的光栅结构示意图，其中底部背景表示液晶显示器，黑色条纹表示狭缝光栅，w表示狭缝光栅节距，b表示光栅不透明部分的宽度，a表示狭缝间距。

图3 斜置狭缝光栅示意图Fig.3 The sketch map of slanted barrier

基于狭缝光栅的显示原理以及本系统中的显示需求，制作了裸眼三维显示器，参数如表2所示。

表2 三维显示模块主要设计指标参数Tab.2 The main parameter of 3D display module

2.2 软件设计

为了让医生可更好使用本系统，操作者可以通过操控软件对系统进行交互。软件设计包括三部分：左右视差图像对的处理、显示通道的管理和人眼实时跟踪的开闭。

图4 软件设计功能框图Fig.4 The function block diagram of software

2.2.1 左右视差图像对处理子模块

为了保证医生可以观看到良好的三维显示效果，本系统中采用了自适应滤波，利用噪声的不一致性，通过差分运算来实现对图像去噪操作。采用直方图均衡的操作对图像进行增强操作。同时考虑到不同医生对视差的要求不同，在显示端可以对左右图像对进行水平视差调节，从而保证医生可以看到最佳的观看效果。

2.2.2 显示通道选择子模块

为了满足医生可以观看二维和三维显示的需求，在设计本系统时，增加了光路的选择功能，医生可以根据自己的需求，选择二维或者三维显示，同时也可以实现左视点图像和右视点图像的切换显示。

2.2.3 人眼跟踪子模块

裸眼三维显示技术，虽然解决了观看者由于佩戴眼镜所造成光线变暗等问题，但是现有的三维技术，也存在显示视野窄的问题。通过人脸跟踪技术定位出观看者的眼睛位置，实时反馈观看者眼部的空间位置，来改变立体图像合成结果，是一种扩大观看区域的有效手段。在主流的人眼跟踪算法中，基于类哈尔（Haar-like）的特征描述子组成的自适应增强分类器和主动轮廓模型（Active Shape Model, ASM）的方法可以很好地判别眼睛位置，同时可以满足实时性的要求，所以本系统选择了该方法。本系统将采集到的观看者眼睛的三维坐标数据反馈到立体图像控制电路中，实时合成在该位置应该看到的立体图像效果，这样观看者就可以在多个位置观看到三维显示效果。

类哈尔特征通过计算图像的灰度变化特征，来实现对图像特征的提取。自适应增强（AdaBoost）算法，将多个弱分类器进行组合，实现对人脸和人眼的判断。本系统中使用了自适应增强算法的思想将多个哈尔分类器组合在一起作为特征检测工具[13]。

主动形状模型方法通过标记若干点将目标区域的轮廓描述出来。随机选择N幅人脸图像，手动标定每幅图像的轮廓点作为训练数据，标记点记为：

其中，(xij,yij)为第i幅图像的第j个轮廓点的坐标，n为每幅图像标记的点数，N为训练数目，每幅图像的Si为一个形状向量。获取每一个标定点附近的特征信息，这些特征信息是进行匹配的主要依据。

图5给出了人眼检测模块的流程图。本系统中首先通过摄像头进行人脸图像的采集，将采集到的图像使用自适应增强算法筛选出人眼的初始特征点。采用主动轮廓模型对特征点进行配准，满足收敛条件后，在图片上标记出人眼位置。

图5 人眼检测与定位算法流程图Fig.5 The fl ow of eyes detection and location

采用类哈尔特征和主动形状模型得到人眼位置信息后，通过预先标定的人眼位置算法，对人眼的移动进行判断，进行视图的调整。视图调整的示意图如图6所示。图6中左边为液晶显示屏和狭缝光栅，白色区域为狭缝光栅遮挡的区域，黑色区域为右眼视区，灰色部分为左眼视区，从液晶屏到狭缝光栅的距离为f，图中①和②表示左眼移动前后的位置，D表示视区的中心间距，xmove表示人眼移动的距离。

图6 立体显示中眼部跟踪图Fig.6 The schematic diagram of eye track in autostereoscopic display

设人的左(右)眼3D坐标为E(x,y,z)，设最佳观看区域为图6中菱形区域。

当人眼水平方向移动时，x值发生变化。当人眼前后移动时，z方向值发生变化，在最佳观测距离时，z值为l，当人眼位于E(x,y,z)位置时，根据该点z值，计算E点水平方向上菱形区域中心点间距

其中，f为光栅到屏幕的距离，D为菱形区域中心点间距，设n为中间变量，表示间距的倍数

要跟踪E点并使E点上的人眼可看到，需要将菱形区中心点随着跟踪位置的变化而偏移

其中R为光栅透光比例，如果(xmove＜0且xmove＜-Dx)则向反方向移动

然后，根据菱形区偏移量与其对应的子像素的位置关系，换算出子像素移动的距离

移动屏幕子像素ex个单位，使E被左边菱形视区覆盖，调整完成。

3 实验验证与讨论

为了验证文中所设计系统的有效性，首先对系统进行功能验证。经验证，该系统可以实现双路图像采集和三维显示，增加的人眼跟踪模块可以保证医生在多个角度观看到三维效果。其次，为了证明采用本文的系统可以为医生提供有效的深度信息，帮助医生提高操作效率，设计了腹腔镜模拟手术操作的实验。我们选择让没有内窥镜手术操作经验的人来完成腹腔镜操作任务，通过比较完成任务的时间来评价加入深度信息的三维腹腔镜是否可以帮助操作者提高效率。

3.1 实验设备

本设计中所提供的三维腹腔镜系统实验平台如图7所示，主要包括双光路腹腔镜、三维显示器、照明光源、腹腔镜模拟训练箱、穿线模块和腹腔镜器械，如分离钳、抓钳等。

图7 裸眼三维腹腔镜系统Fig.7 The experimental platform of glass-free 3-D laparoscope system

3.2 实验方法

所有参与者随机分成两组，一组首先进行三维腹腔镜下的穿线操作，然后在二维腹腔镜下完成相同的操作，另一组相反。在正常环境下让操作者在腹腔镜模拟箱中完成10个孔的穿线操作，将穿线操作耗时作为评价的指标[14]。

表3给出了5名操作者在完成穿线任务时的使用时间。

表3 穿线操作实验中耗时对比Tab. 3 The comparison of threading time between 2D and 3D

通过时间对比发现，初学者使用采用裸眼三维腹腔镜进行手术训练使用时间更少，实验结果表明操作者在使用三维腹腔镜进行操作的过程中，对训练器械和仿体之间的距离有了更好的把握。

4 结论

医生在手术训练操作时，深度信息的呈现能够有效帮助其把握手术器械与人体内部脏器之间的距离。本文为了解决这一问题从图像采集、处理、显示三个方面对系统进行了设计：（1）在腹腔镜采集前端的设计上，采用了平行式双光路的相机摆放结构，结合腹腔镜的使用场景，对腹腔镜的参数进行了确定；（2）为了让医生在无需佩戴三维助视设备的情况下观看到三维效果，本文设计了裸眼三维显示系统；（3）针对裸眼三维显示终端镜可视角度比较小的情况，提出了采用人眼跟踪的方式对人眼位置进行判断，并且实时调整显示内容的输出。

经过调试，本系统可以完成左右图像的采集以及三维图像的宽视角显示。最后，为了证明本文设计的系统提供的深度信息可以帮助操作者提高效率，本文设计了让操作者在腹腔镜模拟箱中完成穿线训练操作的实验，通过时间的长短来对实验的效果进行评价。经实验验证，由于深度信息的存在，采用本系统进行腹腔镜手术训练操作时，可以缩短操作者的训练时间，提高操作效率，同时在训练过程中操作人头部的移动，对立体呈现无影响。因此，本系统提供的深度信息可以帮助医生更好的进行手术操作，同时也为重建腹腔镜下的组织深度信息提供了硬件支持。

[1] 中华医学会外科学分会腹腔镜与内镜外科学组. 3D腹腔镜手术技术专家共识(2015)[J]. 中国实用外科杂志, 2015, 35(9): 967-979.

[2] 三维腹腔镜技术在泌尿外科应用研究专家共识组. 三维腹腔镜技术在泌尿外科应用专家共识[J]. 中华外科杂志, 2015, 53(12):914-916.

[3] Magalhes D S F, Serra R L, Vannucci A L, et al. Glasses-free 3D viewing systems for medical imaging[J]. Opt Las Tech, 2012,44(3):650-655.

[4] Bogdanova R, Boulanger P, Zheng B. Depth perception of surgeons in minimally invasive surgery[J]. Surg Innovat, 2016, 23(5):1140-1150.

[5] Lusch A, Bucur P L, Menhadji A D, et al. Evaluation of the impact of three-dimensional vision on laparoscopic performance[J]. J Endourol, 2014, 28(2):261-266.

[6] Usta T A, Ozkaynak A, Kovalak E, et al. An assessment of the new generation three-dimensional high definition laparoscopic vision system on surgical skills: a randomized prospective study[J]. Surg Endosc, 2015, 29(8):2305-2313.

[7] Wilhelm D, Reiser S, Kohn N, et al. Comparative evaluation of HD 2D/3D laparoscopic monitors and benchmarking to a theoretically ideal 3D pseudodisplay: even well-experienced laparoscopists perform better with 3D[J]. Surg Endosc, 2014, 28(8):2387-2397.

[8] TerziK, Hansard M. Methods for reducing visual discomfort in stereoscopic 3D: A review[J]. Sign Proc Imag Commun, 2016,47:402-416.

[9] Kim D, Sohn K. Visual fatigue prediction for stereoscopic image[J].IEEE Trans Circ Syst Video Tech, 2011, 21(2):231-236.

[10] Alaraimi B, Bakbak W E, Sarker S, et al. A randomized prospective study comparing acquisition of laparoscopic skills in threedimensional (3D) vs. two-dimensional (2D) laparoscopy[J]. World J Surg, 2014, 38(11): 2746.

[11] 李思思. 辐辏与焦点调节不一致所引发的立体影像视疲劳研究[D]. 北京: 北京邮电大学, 2012.

[12] 孔令胜, 刘春雨, 张元. 视差自由立体显示中莫尔条纹消除的研究进展[J]. 液晶与显示, 2014, 29(3): 441-449.

[13] Li Y, Xu X, Mu N, et al. Eye-gaze tracking system by Haar cascade classif i er[C]. IEEE Conf Indust Electr Appl, 2016:564-567.

[14] Feng X, Morandi A, Boehne M, et al. 3-dimensional (3D)laparoscopy improves operating time in small spaces without impact on hemodynamics and psychomental stress parameters of the surgeon[J]. Surg Endosc, 2015, 29(5):1231-1239.

Design and Implementation of the Glasses-free Three Dimensional Laparoscopy System

【Writers】GU Dongxing1, JIANG Juanjuan1, LI Jianjun2, YAN Zhuangzhi1
1 School of Communication and Information Engineering, Shanghai University, Shanghai, 200444 2 Aviation Industry Corporation of China Huadong Photoelectric (Shanghai), Shanghai, 201114

Minimally invasive surgery (MIS) has the advantages of small trauma, quick recovery and lower risk of the surgery.Compared with the traditional two-dimension laparoscopic technique, three-dimension laparoscopic system uses the double beam imaging system as well as the three-dimensional imaging display device so as to compensate for the lack of depth information in two-dimension laparoscopic imaging technique, reduce the surgeon's dif fi culty in using surgical instruments and enhance the accuracy of the surgery. For those reasons, the author designed a glassesfree three dimensional wide-field electronic laparoscopic system, which consists of dual CMOS camera module,image processing module and glasses-free display module that can offer depth information. The active shape model is applied to eye tracking, for the purpose of getting the wide- fi eld to help doctor obtain 3D display in more places.Primary experimental results of the simulation using the system show that operators with the aid of proposed system spend less time fi nishing the task than those using traditional system without depth perception during operation.

minimally invasive surgery, laparoscopy, glasses-free three dimensional display, eye-tracking

R197.39

A

10.3969/j.issn.1671-7104.2017.05.002

1671-7104(2017)05-0317-05

2017-05-10

国家自然科学基金（61675124，61171146）；上海市科委科技支撑计划（15441905400）

谷东兴，E-mail: gu_dx@shu.edu.cn

严壮志，教授，E-mail: zzyan@shu.edu.cn